Logstash读取S3数据写入OpenSearch时启动后停滞求助

• 必须提前创建**索引模板（Index Template）**或直接创建目标索引：Logstash默认会自动创建索引，但如果CSV字段包含日期、数值等特殊类型，自动映射可能不符合预期，建议提前定义模板指定字段类型，避免批量写入时因映射冲突失败。
• 确认OpenSearch的批量写入权限：确保Logstash使用的账号拥有create_index、write权限，即便连接正常，权限不足也会导致批量请求静默失败。
• 检查OpenSearch集群状态：通过GET _cluster/health命令确认集群处于green状态，red/yellow状态会直接影响写入操作。

1. S3输入插件配置问题 #

• 核对S3路径配置：确认prefix精准指向CSV文件夹，例如目标路径为s3://bucket/csv-folder/，则配置需写为prefix => "csv-folder/"，注意末尾斜杠，避免匹配到无关文件。
• 验证文件读取权限：临时给S3输入添加debug => true配置，查看日志是否有文件被发现的记录，排除“连接正常但无法读取文件”的情况。
• 禁用sincedb测试：默认sincedb会记录已读取的文件，若之前测试留下的sincedb文件存在，会导致首次运行跳过所有文件。临时设置sincedb_path => "/dev/null"（Linux）或sincedb_path => "NUL"（Windows），测试是否能读取到CSV数据。

2. CSV解析环节阻塞 #

• 确认分隔符与列头配置：若CSV使用制表符或其他非逗号分隔符，而配置用了默认逗号，会导致解析失败，数据无法流入输出阶段。可在filter阶段添加mutate { add_field => { "raw_message" => "%{message}" } }，临时将输出切换为stdout，查看原始数据是否被正确解析。
• 检查CSV格式合法性：某行字段数量不匹配、包含未转义引号等格式错误，会导致Logstash阻塞在解析环节。可使用csv命令行工具单独验证几个CSV文件的格式。

3. OpenSearch输出插件问题 #

• 调整批量写入参数：调试日志显示批量请求未完成，可能是flush_size设置过大，导致积累大量数据才触发发送，而S3输入的文件量过小无法达到阈值。临时设置flush_size => 100、idle_flush_time => 5，强制5秒内发送批量请求。
• 验证版本兼容性：Logstash的OpenSearch插件版本必须与集群版本匹配，例如OpenSearch 2.x需使用logstash-output-opensearch 2.x版本，版本不兼容会导致批量请求静默失败。
• 测试SSL配置：即便连接正常，SSL证书验证问题也可能卡住写入请求，可临时添加ssl_verification_mode => "none"测试（生产环境不建议），确认是否能完成写入。

4. Logstash管道性能问题 #

• 调整JVM内存：Logstash默认堆内存可能不足，导致数据在内存堆积无法发送。修改config/jvm.options文件，将-Xms和-Xmx调整为合适值（例如4g）。
• 启用管道监控：通过bin/logstash --monitor启动，查看events.in、events.filtered、events.out指标，确认数据卡在输入、过滤还是输出阶段。

内容的提问来源于stack exchange，提问作者EstHgw98