Filebeat采集HAProxy TCP日志时Grok表达式匹配失败求助

1. 核对日志格式与Grok表达式的匹配度 #

• 拿你的日志样例和Ingest Pipeline的Grok规则逐段比对：HAProxy默认tcplog格式为%ci:%cp [%t] %ft %b/%s %Tw/%Tc/%Tt %B %ts %ac/%fc/%bc/%sc/%rc %sq/%bq %hr %hs %{+Q}r，先确认日志是否完全符合这个结构。
• 用Filebeat自带工具测试匹配：

  filebeat test grok -e '你的Grok表达式' '你的日志样例'
  

• 如果HAProxy自定义了log-format，必须确保Grok表达式和自定义字段一一对应，不能有遗漏或多余规则。

2. 修正Filebeat HAProxy模块配置 #

• 默认HAProxy模块可能优先处理HTTP日志，需要在modules.d/haproxy.yml中明确指定日志类型为TCP：

  - module: haproxy
    log:
      enabled: true
      var.paths: ["/var/log/haproxy.log"]
      var.input: "file"
      var.log_type: "tcp" # 新增该配置指定TCP日志类型
  

• 执行filebeat modules list确认模块处于启用状态，重启Filebeat后检查启动日志，确认模块加载无报错。

3. 检查Elasticsearch Ingest Pipeline配置 #

• 确认自动创建的HAProxy pipeline是适配TCP日志的版本，在Kibana Dev Tools中执行：

  GET _ingest/pipeline/filebeat-7.17.0-haproxy-log-pipeline
  

• 查看processors中的grok段，需包含TCP日志特有的字段匹配，比如：

  %{IPORHOST:source.address}:%{NUMBER:source.port} \[%{HTTPDATE:haproxy.accept_date}\] %{NOTSPACE:haproxy.frontend_name} %{NOTSPACE:haproxy.backend_name}/%{NOTSPACE:haproxy.server_name} %{NUMBER:haproxy.time.wait:int}/%{NUMBER:haproxy.time.connect:int}/%{NUMBER:haproxy.time.response:int} %{NUMBER:haproxy.bytes_read:int} %{NOTSPACE:haproxy.session_state} %{NUMBER:haproxy.connections.active:int}/%{NUMBER:haproxy.connections.frontend:int}/%{NUMBER:haproxy.connections.backend:int}/%{NUMBER:haproxy.connections.server:int}/%{NUMBER:haproxy.connections.retries:int} %{NUMBER:haproxy.queued.frontend:int}/%{NUMBER:haproxy.queued.backend:int}
  

• 若自定义过pipeline，确保没有遗漏TCP日志专属字段的匹配规则。

4. 排查日志格式异常问题 #

• 用cat -A /var/log/haproxy.log查看日志原始格式，检查是否存在行截断、不可见字符或非UTF-8编码内容，这类问题会导致Grok匹配失败。

5. 启用调试定位具体问题 #

• 在Filebeat配置中开启logging.level: debug，重启后查看日志，其中会包含Grok匹配失败的具体行和错误细节，精准定位问题点。
• 可临时禁用Ingest Pipeline，让原始日志写入Elasticsearch，再用Kibana的Grok Debugger工具测试匹配规则，验证无误后更新pipeline。

内容的提问来源于stack exchange，提问作者Dipu H