如何通过Logstash将大文件上传并解析到Elasticsearch集群？

Logstash 侧需补充优化配置 #

• 当前未配置批量写入参数，默认单批处理数据量过小，面对100万行级大文件会产生大量碎片化请求压垮ES，需调整elasticsearch输出插件配置：

output {
  elasticsearch { 
    hosts => ["你的数据节点1地址:9200", "你的数据节点2地址:9200"] # 不要打主节点，分散写入压力
    batch_size => 1000 # 单批提交条数，可根据性能在500-3000区间调整
    bulk_actions => 1000 # 触发批量提交的动作阈值
    bulk_size => "15mb" # 单批请求大小上限，不要超过你设置的1GB上传阈值
  }
  stdout { codec => rubydebug }
}

• 补充file输入插件配置，避免大文件读取异常：

input {
  file {
    path => "/tmp/*_log"
    start_position => "beginning"
    sincedb_path => "/dev/null" # 测试环境可填，生产环境需指定持久化路径避免重复读取
    max_open_files => 100 # 限制同时打开的文件数，避免文件句柄耗尽
  }
}

• 调整Logstash JVM参数，修改config/jvm.options文件中的-Xms、-Xmx配置，建议设置为4G-8G，不要超过所在机器内存的50%，避免处理大文件时OOM卡住。
• 调整Logstash管道并行配置，在config/pipelines.yml中添加pipeline.workers: 4（数值等于机器CPU核心数即可），提升大文件处理效率。

Elasticsearch 侧需补充优化配置 #

• 调整写入线程池与缓冲区配置，在elasticsearch.yml中添加以下参数：

thread_pool.write.queue_size: 1000 # 调高写入线程池队列长度，应对批量写入峰值
indices.memory.index_buffer_size: 30% # 调高索引缓冲区占堆内存的比例，大批量写入时避免频繁刷盘

• 调整内存熔断阈值，避免批量写入触发内存保护直接导致进程崩溃，在elasticsearch.yml中添加：

indices.breaker.total.limit: 70%
indices.breaker.request.limit: 40%
indices.breaker.fielddata.limit: 40%

• 大文件写入前临时调整目标索引的刷新间隔，避免产生大量小segment拖慢性能，写入完成后改回原有值即可：
  执行DSL命令：PUT /<你的目标索引名>/_settings {"index.refresh_interval": "-1"}
• 若存在单条超过100MB的超大日志行，需额外调整ES的http.max_header_size参数，同时在Logstash的file输入配置中添加max_bytes: "200mb"（按实际单行大小调整）适配。

内容的提问来源于stack exchange，提问作者hagay_bar