如何通过Logstash将CSV多值HOTSPOTS列转为数组存入Elasticsearch

问题分析 #

• case1报错原因：你用的split是Logstash的事件拆分插件，它的作用是把单个事件拆分成多个独立事件（比如一条数据拆成多条），不是用来将字段值拆分成数组的，所以会报错。
• case2字段成文本的原因：mutate的split已经把HOTSPOTS转成数组了，但你用add_field时，%{[HOTSPOTS]}会被Logstash自动转成逗号拼接的字符串，导致最终存入ES的是文本而非数组。

正确配置方案 #

方案1：直接将原字段转为数组

如果不需要保留原HOTSPOTS字符串，直接用mutate的split处理原字段即可，处理后该字段会变成数组类型，ES会自动识别：

mutate {
  split => { "HOTSPOTS" => "," }
}

方案2：保留原字段，生成新的数组字段

如果要保留原HOTSPOTS的字符串值，同时生成数组类型的hotspot_array，需要先复制字段再拆分（注意顺序：先复制再拆分）：

mutate {
  # 先把原字符串复制到新字段
  add_field => { "hotspot_array" => "%{HOTSPOTS}" }
  # 拆分新字段为数组
  split => { "hotspot_array" => "," }
}

额外注意事项 #

确保Elasticsearch中对应字段的映射支持数组类型（ES中不需要专门定义数组类型，只要字段是text或keyword这类可重复的类型，就能存储数组）。如果之前已经创建了错误的映射（比如被识别成单一文本），需要先更新索引映射或重新创建索引。

内容的提问来源于stack exchange，提问作者PrJa