如何用Logstash将MongoDB数组类型数据索引至Elasticsearch？遇无报错失败

我之前也碰到过类似的棘手情况——Logstash从MongoDB同步数据时其他字段都正常，唯独数组字段死活不进索引，还完全没报错，排查起来确实有点摸不着头脑。下面给你梳理几个实战过的排查和解决方向，应该能帮到你：

首先检查你的mongodb输入配置，有没有正确处理数组字段的读取逻辑：

• 如果你用了MongoDB聚合管道(pipeline参数)，确保管道没有无意中把数组字段扁平化或者过滤掉了。比如如果你的数组字段是user_tags，管道里的$project要明确保留这个字段，不要漏掉；
• 试试调整batch_size参数，有时候批量读取过大可能导致字段解析异常，比如改成batch_size => 100小批量测试；
• 务必指定codec => "json"，确保MongoDB返回的数组能被正确解析为Logstash的数组类型，而不是字符串。

举个参考配置：

input {
  mongodb {
    uri => "mongodb://your-mongo-host:27017/your-db"
    collection => "your-collection"
    codec => "json"
    pipeline => "[ { '$match': {} }, { '$project': { 'user_tags': 1, 'other_field': 1 } } ]"
    batch_size => 100
  }
}

无报错的情况下，最有效的方法是直接打印出Logstash处理后的事件，确认数组字段是否存在、是什么类型：

• 在输出里临时添加stdout输出，用rubydebug codec打印详细结构：

output {
  stdout {
    codec => rubydebug
  }
  elasticsearch {
    hosts => ["your-es-host:9200"]
    index => "your-index"
  }
}

运行后看控制台输出，如果user_tags是字符串类型（比如显示为"[\"tag1\",\"tag2\"]"），说明MongoDB返回的是序列化后的字符串，需要用json过滤器解析成数组：

filter {
  json {
    source => "user_tags"
    target => "user_tags"
  }
}

如果数组字段完全没出现，那就是输入阶段没读取到，得回头检查MongoDB的查询条件或者权限。

有时候问题出在Elasticsearch这边：

• 用GET /your-index/_mapping查看目标索引的映射，确认数组字段的类型是否正确。Elasticsearch本身支持数组类型，但如果字段的映射被设置为object或者单一的text/keyword之外的类型，可能会导致数组无法被正确索引；
• 如果映射不对，你需要更新映射（注意：如果索引已有数据，可能需要创建新索引重新同步）。比如正确的数组字段映射可以是：

{
  "mappings": {
    "properties": {
      "user_tags": {
        "type": "text",
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

虽然你说日志没报错，但开启更详细的Debug日志能帮你看到输入阶段的原始数据：

• 修改Logstash的logstash.yml，设置log.level: debug；
• 重启Logstash后，查看logs/logstash-plain.log，搜索你的数组字段名，看看MongoDB返回的原始数据里是否包含这个数组，以及Logstash是如何解析它的。

最后，确认你的logstash-input-mongodb插件版本和Logstash、MongoDB版本匹配：

• 用bin/logstash-plugin list --verbose logstash-input-mongodb查看当前插件版本；
• 如果版本较旧，尝试更新插件：bin/logstash-plugin update logstash-input-mongodb，旧版本插件可能对某些MongoDB的数组类型支持不佳。

按照这个流程一步步排查，应该能定位到问题所在。我当时是因为聚合管道里不小心把数组字段给过滤掉了，调试了半天才发现😂

内容的提问来源于stack exchange，提问作者User1203