使用Filebeat的Grok解析无IP的Haproxy日志出现匹配错误如何解决？

你当前使用的Grok匹配规则中，源地址段的IP部分仅支持合法IP格式，未兼容Haproxy在源IP无法识别时输出-占位的场景，因此遇到-:port格式的源地址时会匹配失败。

1. 修改源地址匹配规则 #

将原规则中匹配源IP+端口的部分：

%{IP:source.ip}:%{NUMBER:source.port:int}

替换为兼容横杠占位的模式：

(?:%{IP:source.ip}|-):%{NUMBER:source.port:int}

说明：(?:)为非捕获分组，|表示二选一匹配，该规则既可以匹配正常的IP:端口格式，也可以匹配-:端口的异常源地址格式，未识别到IP时source.ip字段会自动留空，可后续通过字段转换规则设置默认值为-。

2. 调整Pipeline规则优先级 #

如果你使用的是Filebeat自带的Haproxy预定义Grok规则，不要直接修改系统默认配置，在你自定义的pipeline.json中将上述适配后的Grok规则放在原有规则之前，保证优先匹配即可。

3. 匹配验证 #

可以用Grok调试工具（如Kibana内置的Grok调试器）验证修改后的规则：
将报错的示例日志粘贴到调试输入框，将完整的适配后Grok表达式粘贴到规则输入框，确认所有字段可以正常拆分。示例适配后的完整Grok片段参考：

%{SYSLOGTIMESTAMP:syslog.timestamp} %{HOSTNAME:syslog.hostname} %{DATA:process.name}\[%{INT:process.pid:int}\]: (?:%{IP:source.ip}|-):%{INT:source.port:int} %{NOTSPACE:haproxy.accept_date} %{NOTSPACE:haproxy.frontend} %{NOTSPACE:haproxy.backend}/%{NOTSPACE:haproxy.server} %{NOTSPACE:haproxy.http_host} %{NOTSPACE:haproxy.time} %{INT:haproxy.bytes_read:int} %{INT:haproxy.bytes_uploaded:int} %{DATA:haproxy.tc} %{DATA:haproxy.ts} %{DATA:haproxy.termination_state} %{NOTSPACE:haproxy.connections} %{NOTSPACE:haproxy.queues} "%{DATA:http.request.method} %{DATA:url.original} %{DATA:http.version}"

4. 异常排查 #

如果修改后仍匹配失败，逐一排查规则中其他字段是否存在强制匹配非空的限制，Haproxy日志中多个字段都可能出现-作为空值占位，可参照上述方法逐一适配。

内容的提问来源于stack exchange，提问作者maar