Logstash配置修改：将ELK栈中嵌套JSON对象的所有子字段全局转换为字符串

首先，你的Logstash配置有几个关键问题导致字段转换不生效，咱们一步步拆解并修正：

1. Input阶段的Codec已解析JSON，Filter判断完全不触发 #

你在input里设置了codec => json，这意味着Logstash会自动把输入的JSON日志解析成事件的顶级字段（比如typeA、typeB、typeD都会直接出现在事件中），message字段根本不会存在（已被Codec处理掉）。所以Filter里的if [message] =~ /\A\{.+\}\z/条件永远为false，后面的所有处理逻辑都没执行。

2. Mutate Convert不支持通配符匹配字段 #

mutate { convert => ["typeD.*","string"] }这种写法是无效的，因为Logstash的mutate/convert不支持用通配符批量匹配字段，只能指定具体的字段名。

修正后的Logstash配置 #

下面是修复后的完整配置，我会逐一说明改动点：

input {
  file{
    type => "json"
    path => "/home/container/logstash/log_file.json"
    start_position => "beginning"
    sincedb_path => "/dev/null"
    codec => json  # 保留这个，自动解析JSON为字段
  }
}
filter {
  # 直接处理已解析的typeD字段，无需判断message
  ruby {
    code => "
      # 检查typeD字段是否存在且为哈希类型
      if event.get('typeD').is_a?(Hash)
        # 遍历typeD下的所有子字段
        event.get('typeD').each do |key, value|
          # 将每个子字段转换为字符串类型
          event.set('[typeD][#{key}]', value.to_s)
        end
      end
    "
  }
}
output {
  elasticsearch {
    hosts => "http://localhost:9200"
    index => "logstash-test-%{+yyyy.MM.dd}"
  }
  stdout { codec => rubydebug }  # 加上rubydebug方便调试查看字段类型
}

配置改动说明： #

• 移除了Filter里的冗余判断和json插件：Input的Codec已经完成JSON解析，事件里直接有typeD字段，无需重复处理。
• 用Ruby插件批量转换子字段：Ruby脚本可以遍历typeD下的所有子字段，将每个值强制转换为字符串，完美解决通配符无法批量处理的问题。
• Stdout新增rubydebug codec：方便你在控制台直接看到处理后的字段类型，快速确认转换是否生效。

部署层面的额外注意事项 #

即使Logstash配置正确，你可能还会遇到Elasticsearch里字段类型没变化的情况，这是因为：

• Elasticsearch的字段映射一旦创建就无法修改（除非删除索引重建）。如果之前已经向logstash-test-*索引写入过数据，旧的字段类型（比如typeD.date是date类型）已经被Elasticsearch自动生成的映射固定。
• 解决方法：
  1. 通过Kibana Dev Tools执行命令删除已有的测试索引：DELETE /logstash-test-*
  2. 重启Logstash重新读取日志，此时Elasticsearch会根据Logstash传入的字段类型生成新的映射。

如果后续需要长期固定字段类型，建议提前创建索引模板，指定typeD下所有子字段的类型为text或keyword（Elasticsearch中没有直接的string类型，需根据业务需求选择这两种）。

内容的提问来源于stack exchange，提问作者es-g