Filebeat 7.15.0 autodiscover模式下无法采集日志发送至Elasticsearch

故障背景 #

两套配置完全一致的环境均通过Helm部署7.15.0版本Filebeat、Elasticsearch、Kibana，其中一套环境突发Filebeat停止向Elasticsearch发送日志问题，初步排查已确认以下现象：

• 故障环境Filebeat容器内/var/lib/docker/containers目录为空，该表现与正常运行环境完全一致
• Filebeat到Elasticsearch网络连通性正常，请求Elasticsearch服务返回200状态码
• Filebeat调试日志显示所有输入源启动扫描完成后，输入状态清理前后计数、待处理事件计数均为0
• Filebeat注册中心目录data/registry/filebeat下log.json为空，仅存在版本标识为1的meta.json文件
• 现场已留存故障环境Filebeat运行日志、容器内查询操作结果、Filebeat Pod完整YAML配置

根因定位 #

核心根因 #

该故障为Filebeat 7.15.0版本已知缺陷触发的采集静默，触发链路如下：

1. Filebeat Pod因节点驱逐、OOM、kubelet重启等原因异常退出时，注册中心文件log.json刷盘未完成，被截断为空文件
2. 7.15.0版本的注册中心加载逻辑存在判断漏洞：当检测到目录下存在版本合法的meta.json、但log.json为空时，不会抛出异常、也不会触发注册中心重建，直接判定所有日志源已完成采集，不会启动任何日志harvester线程，最终表现为无待处理事件、无日志发送。

该故障与Docker Socket挂载权限、Elasticsearch连通性、日志目录挂载权限无关，排查到的目录为空、网络连通正常的表现完全匹配该缺陷的故障特征——Filebeat根本没有进入实际的文件监听采集流程。

验证方式 #

在故障Filebeat Pod内执行以下命令即可确认根因：

# 查看注册中心文件实际大小
du -sh /usr/share/filebeat/data/registry/filebeat/*
# 过滤debug日志中的注册中心加载记录
./filebeat -e -d "*" | grep -E "registry|harvester"

如果输出可见registry loaded with 0 entries，且无任何harvester启动日志，即可确认根因。

修复方案 #

临时紧急恢复 #

操作全程无业务侧影响，1分钟即可恢复采集：

1. 进入故障Filebeat Pod，删除损坏的注册中心文件：

   rm -f /usr/share/filebeat/data/registry/filebeat/log.json
   

2. 滚动重启Filebeat DaemonSet：

   kubectl rollout restart daemonset/filebeat -n <替换为Filebeat所在命名空间>
   

3. 重启后Filebeat会自动重建注册中心文件，启动所有日志采集harvester，1-2分钟内即可恢复日志上报。
   注意：该操作会触发Filebeat从配置的ignore_older时间窗口内的日志开始重新采集，若已配置合理的close_inactive参数，重复日志量可控，可根据实际ignore_older配置评估影响。

永久规避 #

1. 版本升级：将Filebeat升级至7.17.4及以上7.x稳定版本，或8.2.0及以上版本，上述版本已修复注册中心空文件加载的逻辑漏洞，空文件场景下会自动重建注册中心，不会出现无报错的采集静默。
2. Helm配置加固：在部署values.yaml中增加以下配置，降低注册中心文件损坏概率：

   daemonset:
     extraVolumeMounts:
       - name: filebeat-data
         mountPath: /usr/share/filebeat/data
     extraVolumes:
       - name: filebeat-data
         emptyDir: {} # 如需持久化注册中心可替换为localPV，禁止使用hostPath挂载节点临时路径
   config:
     filebeat.registry.flush: 1s # 缩短注册中心刷盘间隔，降低异常重启时的文件截断概率
     logging.metrics.enabled: true
   

3. 监控告警配置：新增告警规则，当Filebeat指标filebeat_events_total连续5分钟无增长、且filebeat_harvester_running数值为0时触发告警，提前发现采集异常。

内容的提问来源于stack exchange，提问作者Misha