CSV列数过多时Logstash同步数据至ES进程被kill问题求助

• 堆内存分配不足：当前Pod总内存为6GB，Logstash默认JVM堆内存仅为1GB左右，而需要解析的CSV单条有641个字段，单条事件内存占用是普通小字段CSV的数十倍，即使设置500条批量处理，堆内存也会瞬间打满，触发系统OOM Killer终止进程。
• 存储资源不足：500万行641列的CSV本身体积较大，加上Logstash运行过程中会生成临时缓冲文件，6GB存储很容易被占满，触发进程强制退出。
• 配置未适配大字段场景：当前csv过滤器未指定固定列名，动态生成列名会额外占用内存，且500的批量大小对于641列的超宽表来说仍然过大。

1. 调整JVM堆内存配置
   修改Logstash根目录下config/jvm.options文件，将堆内存初始值和最大值统一设为4GB（预留2GB给Pod系统进程使用，避免内存占满），配置如下：

-Xms4g
-Xmx4g

注意Xms和Xmx必须设置为相同值，避免垃圾回收时内存扩容产生抖动。

2. 优化Logstash核心运行参数
   在config/logstash.yml中添加以下配置，适配超宽表解析场景：

pipeline.workers: 1
pipeline.batch.size: 80
pipeline.batch.delay: 50

将批量大小从500降到80，降低单批次内存占用峰值。

3. 优化CSV过滤器配置
   修改filter中的csv配置块，提前指定所有列名，避免动态生成列名消耗内存，同时跳过空行减少无效解析，示例配置：

filter {
    csv {
        separator => ";"
        columns => ["列1","列2",...,"列641"] # 提前写入所有641个列的名称
        remove_field => ["message", "path", "host"] # 移除不需要的元字段，降低事件体积
        skip_empty_rows => true
    }
}

如果有不需要写入ES的列，可在过滤器中直接用remove_field删除，进一步减少内存占用。

4. 优化ES输出配置
   修改output中的elasticsearch配置块，和批量大小匹配刷新规则：

output { 
    elasticsearch {
        hosts => ["localhost:9200"] 
        index => "activity_test04232_3"
        retry_max_interval => 5
        retry_initial_interval => 30
        flush_size => 80
        idle_flush_time => 1
        sniffing => false
    }
}

5. 扩容Pod存储
   如果CSV源文件本身大小超过3GB，建议将Pod存储扩容到10GB以上，避免运行过程中临时缓冲文件占满存储导致进程退出。

调整完成后可先截取CSV前10万行做测试，确认内存占用稳定后再跑全量同步即可。

内容的提问来源于stack exchange，提问作者amanlalwani007