Logstash 6.5.4解析数据出现重复字段数组问题求助

问题定位 #

你的ES数据中字段呈现重复值数组（如request_id包含3个相同值），且文档版本号_version:3，说明同一条日志被重复处理并写入ES至少3次。Logstash默认会将同一字段的多次赋值合并为数组，直接导致仪表盘与报表功能异常。

核心诱因 #

1. Logstash配置不匹配/重复处理：
   你提供的Logstash grok规则针对带[]的Apache风格日志，但原始日志是逗号分隔格式，完全无法匹配，按配置应被drop，但ES中却有数据，说明：
   • 存在多个Pipeline同时处理该日志，其中一个Pipeline正确解析了逗号分隔日志，另一个（你粘贴的配置）重复处理并赋值字段；
   • 你粘贴的配置不完整，缺少处理逗号分隔日志的逻辑，且该逻辑中存在重复赋值操作。
2. Filebeat重复发送日志：
   • Filebeat的registry文件损坏，导致日志被重复读取；
   • 日志切割后inode变化，Filebeat将其识别为新文件重新读取。
3. ES文档ID冲突：
   Logstash未配置唯一document_id时，ES自动生成ID，若同一条日志被多次发送，可能生成相同ID，导致文档被多次更新，字段被重复赋值为数组。

分步解决方案 #

1. 修正Logstash解析逻辑 #

• 检查是否存在多个处理该日志的Pipeline，确保每条日志仅被一个Pipeline处理；
• 针对逗号分隔日志，替换grok为csv filter（更高效准确），示例配置：

filter {
  csv {
    separator => ","
    columns => ["created_timestamp", "request_id", "system", "processor", "mq_topic", "execution_time", "execution_level", "empty_col1", "empty_col2", "status", "current_step_time_ms", "total_time_ms", "task_message", "tenant_mode", "empty_col3", "jobSpecificMetaData"]
    remove_field => ["empty_col1", "empty_col2", "empty_col3"] # 移除无意义空列字段
  }
  # 后续其他处理逻辑...
}

• 确保每个字段仅被赋值一次，避免重复调用mutate/add_field或多次匹配规则。

2. 修复Filebeat重复发送问题 #

• 备份并清空Filebeat的registry文件（默认路径：/var/lib/filebeat/registry），重启Filebeat让其重新读取日志（注意：会重新读取所有日志，需后续清理ES重复数据）；
• 配置logrotate时添加copytruncate选项，避免日志切割导致inode变化。

3. 配置ES唯一文档ID #

在Logstash的output中指定唯一document_id（比如使用日志中的request_id），避免同一条日志重复更新：

output {
  elasticsearch {
    hosts => ["elastic1","elastic2","elastic3"]
    index => "access-%{index-name}"
    document_id => "%{request_id}" # 用日志中的唯一标识作为文档ID
  }
}

4. 清理ES中已有重复数组字段 #

通过_update_by_query将数组转为单个值：

POST access-*/_update_by_query
{
  "script": {
    "source": """
      def fields = ['jobSpecificMetaData', 'request_id', 'tenant_mode', 'created_timestamp', 'execution_level', 'status'];
      for (def field : fields) {
        if (ctx._source[field] instanceof List && ctx._source[field].size() > 0) {
          ctx._source[field] = ctx._source[field][0];
        }
      }
    """,
    "lang": "painless"
  }
}

内容的提问来源于stack exchange，提问作者Gajendar