Telegraf通过Tail/Grok插件无法向CloudWatch上报数据求助

可能的原因及排查步骤 #

1. 确认Grok解析的字段类型与有效性 #

虽然输出到文件正常，但需确保解析后的数值字段（statusCode、elapsedTime）是数值类型而非字符串：

• 临时切换回outputs.file，查看输出的JSON结构，确认类似"statusCode": 200而非"statusCode": "200"。
• 如果是字符串类型，检查日志中status_code、elapsed_time的格式是否符合预期（比如是否被引号包裹），调整grok_custom_patterns中的规则，确保%{INT:statusCode}能正确匹配数值。

2. 配置日志时间戳为指标时间戳 #

CloudWatch会丢弃时间戳超出范围（通常是过去2周或未来24小时）的指标，需确保Telegraf使用日志中的时间戳而非当前时间：
在[[inputs.tail]]块中添加：

timestamp_field = "date"
timestamp_format = "2006-01-02T15:04:05Z07:00"

（格式需与日志中abc_timestamp的ISO8601格式完全匹配，比如如果日志是2024-05-20T12:34:56+00:00，上述格式即可）

3. 调整字段命名以适配CloudWatch规范 #

CloudWatch指标名支持字母、数字和下划线，驼峰式命名可能引发兼容问题，可通过处理器重命名字段：
在配置中添加处理器：

[[processors.rename]]
  [[processors.rename.replace]]
    field = "statusCode"
    dest = "status_code"
  [[processors.rename.replace]]
    field = "elapsedTime"
    dest = "elapsed_time"

4. 检查Telegraf调试日志获取错误信息 #

启动Telegraf时开启调试模式，查看是否有CloudWatch上传错误或指标丢弃提示：

telegraf --config /path/to/your/config.conf --debug

重点关注类似error writing to cloudwatch、no metrics to send的日志信息，定位具体问题。

5. 验证CloudWatch权限与指标延迟 #

• 确认Telegraf使用的IAM实体（角色/用户）拥有cloudwatch:PutMetricData权限，且资源覆盖arn:aws:cloudwatch:eu-west-1::namespace/xyz/data/*。
• CloudWatch指标存在延迟，调整控制台时间范围至日志对应的时间段，等待5-10分钟后再查看指标。

6. 确认Tail插件正常读取日志 #

在[[inputs.tail]]中添加自定义标签，验证插件是否在工作：

tags = ["log_source:input_file"]

切换回outputs.file，查看输出是否包含该标签，确认日志被正常读取。

内容的提问来源于stack exchange，提问作者yallam