如何在Logstash HTTP输出的message中映射数组实现_update_by_query

问题根源 #

当你在HTTP输出的message里直接用%{noteSede}做字段插值时，Logstash会自动把数组类型的字段转为逗号分隔的字符串，而Elasticsearch的_update_by_query操作要求接收标准JSON数组格式，这直接导致了400格式错误。

解决方案 #

要在HTTP请求体中正确传递数组，有两种直接可行的方式：

方法1：用json_encode插件预处理字段 #

1. 先确保noteSede是数组类型（如果聚合插件输出已经是数组，可跳过此步）：

mutate {
  convert => { "noteSede" => "array" }
}

2. 用json_encode把数组转成符合JSON规范的字符串：

json_encode {
  source => "noteSede"
  target => "noteSede_json"
}

3. 在HTTP输出的请求体中使用这个预处理后的字段：

http {
  url => "http://你的ES地址:9200/目标索引/_update_by_query"
  method => "POST"
  headers => {
    "Content-Type" => "application/json"
  }
  message => '{
    "query": { "match": { "document_id": "%{目标document_id字段名}" } },
    "script": {
      "source": "ctx._source.noteSede = params.noteSede",
      "params": {
        "noteSede": %{noteSede_json}
      }
    }
  }'
}

方法2：直接在message中用Ruby语法生成数组 #

不想额外加过滤器的话，可以用Logstash的Ruby插值语法直接输出数组：

http {
  url => "http://你的ES地址:9200/目标索引/_update_by_query"
  method => "POST"
  headers => {
    "Content-Type" => "application/json"
  }
  message => '{
    "query": { "match": { "document_id": "%{目标document_id字段名}" } },
    "script": {
      "source": "ctx._source.noteSede = params.noteSede",
      "params": {
        "noteSede": ${ruby: event.get("noteSede").to_json}
      }
    }
  }'
}

这里的${ruby: event.get("noteSede").to_json}会直接把数组转为["值1", "值2"]的标准JSON格式，避免被转成逗号分隔的字符串。

验证步骤 #

在管道中添加stdout输出，用rubydebug codec确认字段格式：

stdout {
  codec => rubydebug
}

检查输出的HTTP请求体，确保noteSede是数组格式而非字符串。

额外注意事项 #

• 确认目标ES索引的noteSede字段映射支持数组（比如"noteSede": { "type": "keyword" }），否则即使传递了数组，ES也会报错。
• 若使用_update_by_query的内联脚本，需确保ES允许动态脚本，可在elasticsearch.yml中设置script.allowed_types: inline。

内容的提问来源于stack exchange，提问作者Carlitoz