这个问题本质是Filebeat没有正确记录已经读取过的日志位置——正常情况下，Filebeat会通过注册表文件追踪每个日志文件的读取进度，不会重复发送旧内容。下面是一步步的排查和解决方法：

1. 检查Filebeat注册表的权限与路径 #

Filebeat默认会把注册表存在data/registry目录（Linux系统通常是/var/lib/filebeat/registry），如果这个目录的权限不对，或者Filebeat运行用户没有读写权限，注册表就无法更新，导致每次有新日志时从头读取。

• 首先确认注册表目录存在且权限正确：

  # 以Linux为例，检查目录权限
  ls -ld /var/lib/filebeat/
  # 确保Filebeat运行用户（比如filebeat用户）有读写权限
  sudo chown -R filebeat:filebeat /var/lib/filebeat/
  

• 你也可以在filebeat.yml里显式指定注册表路径，避免路径问题：

  filebeat.registry.path: /var/lib/filebeat/registry
  

2. 优化Filebeat输入配置 #

在你的filebeat.yml输入配置里，添加几个关键参数来确保正确的文件追踪：

filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /home/user/Documents/ELK/locals/*.log
    # 当文件5分钟无新内容时关闭句柄，释放资源（默认值，可按需调整）
    close_inactive: 5m
    # 文件被删除后停止追踪（默认开启）
    close_removed: true
    # 每10秒扫描一次目录是否有新文件或新内容（默认值，不要设太高）
    scan_frequency: 10s

注意不要设置clean_removed: true（这会删除已移除文件的注册表记录，可能导致重新读取），默认这个参数是false，保持默认即可。

3. 重置损坏的注册表（如果需要） #

如果之前的注册表文件损坏，导致追踪失效，可以手动重置：

# 停止Filebeat服务
sudo systemctl stop filebeat
# 删除注册表文件
sudo rm /var/lib/filebeat/registry
# 重启Filebeat，此时会重新读取所有现有日志，但之后会正常追踪新增内容
sudo systemctl start filebeat

⚠️ 重置注册表会导致所有现有日志被重新发送一次，所以如果你的日志量很大，建议在业务低峰期操作。

4. 给Logstash加一层重复防护（额外保障） #

即使Filebeat正常工作，也可以在Logstash里配置指纹过滤，让Elasticsearch自动去重：
修改你的Logstash配置，添加filter和output的去重逻辑：

input {
  beats {
    port => 5044
  }
}

filter {
  # 基于日志内容、时间戳、文件路径生成唯一指纹
  fingerprint {
    source => ["message", "@timestamp", "path"]
    target => "[@metadata][fingerprint]"
    method => "SHA1"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "logs-%{+YYYY.MM.dd}"
    # 用指纹作为文档ID，相同日志会自动覆盖
    document_id => "%{[@metadata][fingerprint]}"
  }
}

这样即使有少量重复日志发送到Logstash，Elasticsearch也不会存储重复条目。

内容的提问来源于stack exchange，提问作者Vinit Jordan