如何通过Telegraf logparser采集Apache访问日志新增响应时间字段

你已经在Apache的LogFormat里正确添加了%D参数记录微秒级响应时间，但问题核心是默认的%{COMBINED_LOG_FORMAT}不包含这个新增字段，且你之前的自定义模式没有和原有格式完整结合。单独的局部匹配规则无法覆盖完整日志行，所以导致响应时间字段始终采集不到。

正确的Grok模式调整 #

默认的%{COMBINED_LOG_FORMAT}已经能匹配日志前半部分内容，我们只需要在它后面追加响应时间的匹配规则即可。你的日志末尾是纯整数（比如600、472），对应的Grok规则为%{NUMBER:response_time:int}（int指定字段类型为整数，方便后续InfluxDB存储和Grafana计算）。

完整的匹配模式应该是：

%{COMBINED_LOG_FORMAT} %{NUMBER:response_time:int}

修改Telegraf配置 #

找到你Telegraf配置文件中的[[inputs.logparser]]模块，将原有的patterns数组替换为上述完整模式：

[[inputs.logparser]]
  files = ["/var/log/apache2/access.log"] # 替换为你的access_log实际路径
  from_beginning = false
  [inputs.logparser.grok]
    patterns = ["%{COMBINED_LOG_FORMAT} %{NUMBER:response_time:int}"]
    measurement = "apache_access_log"

为什么之前的尝试失败？ #

你之前自定义的[%{NUMBER:resp}]或[%([0-9]{1,3})]模式存在两个关键问题：

• 日志里的响应时间并没有被方括号包裹，额外添加[]会导致匹配失败
• logparser是用单个模式匹配完整日志行，而非拼接多个模式。单独的局部规则无法和默认格式配合，必须将原有格式与新增字段规则合并成一个完整的匹配表达式

验证配置正确性 #

你可以用Telegraf自带的测试功能快速验证：

1. 将示例日志行保存到临时文件（比如test_apache.log）
2. 执行测试命令：

telegraf --config your_telegraf_config.conf --test --input-filter logparser

如果配置正确，输出结果中会清晰显示response_time字段及对应数值。

额外注意事项 #

• 确认Apache的LogFormat配置生效，比如你的格式应该类似：

  LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %D" combined
  

  并且全局或对应VirtualHost已启用这个combined日志格式。
• 确保Telegraf进程拥有读取access_log文件的权限，避免因权限问题导致字段采集失败。

完成以上调整后，Telegraf就能正确采集响应时间字段，InfluxDB中会新增response_time字段，Grafana面板也可以正常调用该字段制作监控图表了。

内容的提问来源于stack exchange，提问作者Eddie