Logstash stats API高并发场景下事件统计值异常问题咨询

通过Docker部署Logstash 7.17.4版本，依赖stats API展示流水线日志处理统计数据时出现如下异常：

• 高并发测试场景（每0.01秒发送200条日志）：API返回的in和filtered统计值明显错误，但out值与Elasticsearch中实际索引的日志数量完全一致；
• 低并发测试场景（重启流水线后每1-2秒发送少量日志）：所有统计值均显示正常。

节点配置信息 #

"host": "19b4437c6bd2",
"version": "7.17.4",
"http_address": "0.0.0.0:9600",
"id": "90a19e53-5c93-4268-94e6-641e763e6017",
"name": "19b4437c6bd2",
"ephemeral_id": "b409fac0-0a62-4a8c-a5e0-225128fbfabd",
"status": "green",
"snapshot": false,
"pipeline": {
    "workers": 8,
    "batch_size": 125,
    "batch_delay": 50
}

异常时流水线事件统计 #

"syslog": {
    "events": {
        "duration_in_millis": 41578,
        "out": 13935,
        "filtered": 144,
        "queue_push_duration_in_millis": 0,
        "in": 144
    }
}

1. 核心原因判断：多线程计数竞态条件 #

Logstash采用多线程worker模型处理事件，若in、filtered的计数逻辑未使用原子操作，高并发场景下会出现线程安全问题，导致计数丢失。而out值准确，是因为该计数通常在事件成功写入输出端（如ES）后触发，逻辑上的原子性实现更严谨，受竞态影响更小。

7.17.4属于较老的LTS版本，这类统计计数的线程安全问题在后续版本中已有修复记录，因此这大概率是版本存在的已知Bug。

2. 临时配置调整方案 #

若暂时无法升级版本，可尝试调整以下配置缓解问题：

• 降低worker数量：当前配置8个workers，高并发下线程竞争激烈，可尝试调至4或2，减少计数操作的竞态冲突；
• 增大batch_size：将batch_size从125适当提高（如200-500），减少批次处理频率，间接降低计数操作的并发次数；
• 调整统计收集策略：若业务对实时流水线统计需求不高，可设置pipeline.stats.collect: false关闭流水线级统计，仅保留节点级统计（需根据业务需求权衡）。

3. 长期解决方案：版本升级 #

建议升级到Logstash 7.17.x系列的最新补丁版本，或直接升级到8.x稳定版本。后续版本对多线程统计的原子性处理做了针对性优化，能从根本上解决高并发下的计数异常问题。

内容的提问来源于stack exchange，提问作者Freddy Laffita Almaguer