Filebeat重启后重复向Elasticsearch发送日志问题求助

1. 检查Registry文件状态 #

Filebeat依赖/var/share/filebeat/data/registry目录下的文件记录日志读取进度，重启后若该目录下的文件丢失或无法读取，就会从头发送全部日志。

• 进入容器执行ls -l /var/share/filebeat/data/registry，确认文件存在且权限归filebeat用户所有（必须具备读写权限）。

2. 验证配置中的数据路径 #

确保Filebeat配置文件里的path.data明确指向挂载的目录，配置示例：

path.data: /var/share/filebeat/data

如果配置路径错误，重启后Filebeat会使用容器内默认路径，而默认路径未挂载，进度数据会随容器销毁丢失。

3. 容器启动权限校验 #

部分容器启动脚本可能会重置挂载目录的权限，导致手动设置的权限失效。可以在容器启动命令中加入权限初始化步骤：

chown -R filebeat:filebeat /var/share/filebeat/data && filebeat -e -c /etc/filebeat/filebeat.yml

4. 配置Elasticsearch文档ID去重 #

即使Filebeat重复发送日志，通过设置唯一文档ID可以让Elasticsearch覆盖重复条目而非创建新文档。在output.elasticsearch中添加配置：

output.elasticsearch:
  hosts: ["es-host:9200"]
  document_id: '%{[log.file.path]}_%{[@metadata][offset]}'

该配置用日志文件路径+读取偏移量生成唯一ID，避免重复文档。

5. 检查输入模块配置 #

确认filebeat.inputs中的参数设置合理，避免每次重启都重新扫描全部文件。推荐配置：

filebeat.inputs:
- type: log
  paths:
    - /path/to/your/logs/*.log
  close_inactive: 5m
  ignore_older: 72h

close_inactive会关闭长时间未更新的文件句柄，ignore_older会忽略指定时间之前的旧日志，减少重复扫描概率。

内容的提问来源于stack exchange，提问作者rEVOLution