Logstash同步OpenSearch时嵌套字段未转为数组问题求助

1. 核心问题根源 #

你的数据库视图返回的是一条mechanism对应一条project的扁平化数据（比如某个mechanism关联3个项目，视图会输出3行重复mechanism字段、不同project字段的数据）。Logstash默认会把这些行当成独立事件处理，最后只保留最后一行的project值，导致最终写入OpenSearch的文档里只有单个项目，而非数组。

2. 用Logstash aggregate插件合并同组数据 #

这是解决问题的关键，通过aggregate插件把同一mechanism的多个project合并成数组，再映射到nested字段。

配置示例（直接套用到你的Logstash过滤阶段） #

filter {
  # 以mechanism的唯一标识（比如mechanism_id）作为分组依据
  aggregate {
    task_id => "%{mechanism_id}"
    code => "
      # 初始化projects数组，确保第一次处理时创建空数组
      map['projects'] ||= []
      # 把当前事件的project相关字段封装成哈希，加入数组
      map['projects'] << {
        'project_id' => event.get('project_id'),
        'project_name' => event.get('project_name'),
        # 这里补充你视图里的其他project字段
      }
      # 仅在第一次处理同组事件时，保留mechanism的基础字段
      if map['mechanism_id'].nil?
        map['mechanism_id'] = event.get('mechanism_id')
        map['mechanism_name'] = event.get('mechanism_name')
        # 补充其他mechanism基础字段
      end
    "
    push_previous_map_as_event => false  # 不输出中间临时事件
    timeout => 300  # 超时时间，确保同组所有project行都被聚合
  }

  # 过滤掉原始的单行事件，只保留聚合后的最终完整文档
  if ![projects] {
    drop {}
  }
}

3. 确认OpenSearch索引映射正确性 #

确保projects字段确实是nested类型（而非普通object，普通object会自动扁平化数组，查询时也会显示异常），映射示例如下：

{
  "mappings": {
    "properties": {
      "mechanism_id": {"type": "keyword"},
      "mechanism_name": {"type": "text"},
      "projects": {
        "type": "nested",
        "properties": {
          "project_id": {"type": "keyword"},
          "project_name": {"type": "text"}
          # 对应你视图里的project字段
        }
      }
    }
  }
}

4. 查询时的注意事项 #

如果直接用普通查询，OpenSearch会把nested字段当成扁平化对象处理，建议用nested查询来获取完整的数组结构：

{
  "query": {
    "nested": {
      "path": "projects",
      "query": {
        "match_all": {}
      },
      "inner_hits": {}  # 显式返回匹配的完整project数组
    }
  }
}

额外提示 #

• 数据库视图查询语句最好加上ORDER BY mechanism_id，确保同一mechanism的所有project行连续返回，避免聚合超时漏数据。
• 如果你的mechanism数据量极大，可适当调大timeout参数，保证同组事件全部被聚合。
• 从SOLR转来要注意：OpenSearch的nested类型和SOLR的多值字段逻辑不同，必须显式聚合数组后再写入，不能依赖自动识别。

内容的提问来源于stack exchange，提问作者Vaesive