我来帮你搞定这个Logstash重复导入CSV的问题——这种情况我在项目里碰到过好多次，大概率是你配置里几个参数的组合在搞鬼，咱们一步步拆解解决：

核心问题根源 #

你的配置里有几个关键设置直接导致了重复：

• sincedb_path => "/dev/null"：这个参数让Logstash放弃了记录文件读取位置的功能。正常情况下，Logstash会用sincedb文件记住每个文件读到了哪一行，下次扫描时从断点继续。但你把它指向/dev/null，每次Logstash重启或者重新扫目录，都会彻底忘记之前处理过这个文件，从头再读一遍。
• start_position => "beginning"：配合上面的参数，每次都会强制从文件开头读取，哪怕这个文件已经被处理过N次。
• 另外，如果你的CSV文件是分批写入到监听目录的（比如复制大文件时，系统会分块传输），Logstash的文件发现机制可能会多次触发读取，也会造成重复条目。

针对性解决方案 #

1. 恢复sincedb的正常使用（最推荐）

把sincedb_path改成一个Logstash有权限写入的实际路径，让它能追踪文件读取位置：

input {
  file {
    path => "/home/XXX/report/*.csv"
    start_position => "beginning"
    # 换成一个你有权限写入的路径，比如Logstash的默认数据目录下
    sincedb_path => "/var/lib/logstash/sincedb/sincedb_csv_tracker"
    # 可选：缩短sincedb的更新间隔，让位置记录更及时
    sincedb_write_interval => 10
  }
}

这样处理过的文件，Logstash会牢牢记住读到了哪里，不会再重复读取整个文件。

2. 处理完文件后移走或归档

如果你的场景是一次性导入CSV，处理完后把文件从监听目录移走或者归档，从根源上避免Logstash重复扫描到它：

• 可以写个简单的shell脚本，定时扫描监听目录里的文件，确认已经被Logstash处理后（比如看文件的修改时间超过close_older设置的时间），把文件移动到归档目录。

3. 在Elasticsearch层面强制去重

如果上面的方法没法完全避免重复，可以给每条CSV记录生成唯一ID，让Elasticsearch自动覆盖重复条目：

filter {
  csv {
    separator => ";"
    columns => ["order_id", "user_name", "amount"] # 替换成你的实际列名
  }
  # 用CSV里的唯一字段生成ID，比如假设order_id是唯一的
  mutate {
    add_field => { "[@metadata][_id]" => "%{order_id}" }
  }
}

output {
  elasticsearch {
    hosts => ["your-es-host:9200"]
    index => "csv_reports"
    action => "upsert" # 存在则更新，不存在则插入
    document_id => "%{[@metadata][_id]}"
  }
}

这样即使Logstash重复发送记录，Elasticsearch会用相同的ID覆盖旧记录，不会产生重复条目。

4. 调整文件扫描参数，避免分批写入导致的重复

如果是因为文件写入时被多次扫描导致的重复，可以调整file插件的几个参数：

input {
  file {
    path => "/home/XXX/report/*.csv"
    start_position => "beginning"
    sincedb_path => "/var/lib/logstash/sincedb/sincedb_csv_tracker"
    # 延长目录扫描间隔，减少重复发现
    discovery_interval => 30
    # 延长文件状态检查间隔
    stat_interval => 5
    # 等待文件10秒没有变化后再读取，确保文件已经完全写入
    close_older => 10
  }
}

close_older会让Logstash在文件超过指定时间没有修改后关闭文件句柄，避免反复读取未写完的文件。

验证方法 #

修改配置后，先停止Logstash，清空Elasticsearch里重复的索引，然后重启Logstash，放入一个测试CSV文件，检查ES里的记录是否唯一。

内容的提问来源于stack exchange，提问作者Wrest