Fluentd解析无时间字段JSON日志时无法自动添加系统当前时间的问题排查求助

首先，我们来拆解你遇到的问题：你的日志本身不包含时间字段，你期望Fluentd自动将系统当前时间（或日志被摄入的时间）添加到解析后的日志中，但当前配置没有实现这个效果。核心原因在于对Fluentd的时间处理逻辑和配置参数的理解偏差：

为什么当前配置不生效？ #

你在<parse>块中配置了time_key: time和keep_time_key: true，但这两个参数的作用是从日志的time字段中提取时间戳，并在提取后保留该字段。由于你的日志里根本没有time字段，这部分配置完全不起作用。

另外，Fluentd的事件结构分为两部分：

• 时间戳元数据：这是Fluentd内部记录的日志被摄入/处理的时间，默认情况下不会显示在stdout的普通输出中（你当前看到的只是日志的record内容）
• Record（日志内容）：就是你看到的那些字段集合，默认不会自动包含时间字段，除非你主动配置添加。

解决方案 #

1. 先确认时间戳元数据是否存在 #

首先，你可以修改stdout插件的配置，让它输出完整的事件（包含时间戳元数据），验证Fluentd确实捕获了时间：

<match loghub_s3>
  @type stdout
  @id output_stdout
  format json
</match>

修改后，你会看到类似这样的输出（包含time字段，是Unix时间戳）：

{"loghub_s3":{"host":"204.48.112.175","user-identifier":"-","method":"POST",...},"time":1699999200}

2. 将时间戳添加到日志Record中 #

如果希望把时间戳以易读的格式添加到日志字段里，你需要使用record_transformer过滤器来实现。在配置中添加以下内容：

<filter loghub_s3>
  @type record_transformer
  enable_ruby true
  <record>
    event_time ${Time.at(time).utc.strftime("%Y-%m-%dT%H:%M:%SZ")}
  </record>
</filter>

这个配置会在每个日志的record中添加一个event_time字段，格式为UTC标准时间（你可以根据需求修改strftime的格式）。

3. 优化你的<parse>配置 #

由于你的日志没有时间字段，之前的时间相关配置是多余的，可以简化为：

<parse>
  @type json
  # 当解析出错时，使用当前时间作为事件时间戳（可选但推荐）
  current_time_on_parse_error true
</parse>

这样配置后，Fluentd会自动将日志被摄入的时间作为事件的时间戳元数据，配合上面的过滤器就能把时间添加到日志内容里了。

验证效果 #

修改配置后重启Fluentd，你应该能在stdout输出中看到包含event_time字段的日志，比如：

loghub_s3: {"host":"204.48.112.175","user-identifier":"-","method":"POST",...,"event_time":"2023-11-14T12:00:00Z"}

内容的提问来源于stack exchange，提问作者Kervin Hu