FluentD向Elastic写入数据失败：字段映射类型冲突问题求助

Elastic报错是因为字段类型冲突：kubernetes.labels.app已被识别为text类型，但FluentD传入的app.kubernetes.io/instance字段会被Elastic自动解析为kubernetes.labels.app下的嵌套对象（Elastic用点号标识嵌套结构），同一个字段不能同时是text和object类型，导致动态映射失败。

1. 修改FluentD配置重命名字段 #

用record_transformer插件调整日志记录中的字段，避免嵌套冲突。示例配置：

<filter kubernetes.**>
  @type record_transformer
  <record>
    # 将原app标签重命名为app_name，避开嵌套冲突
    kubernetes.labels.app_name ${record["kubernetes"]["labels"]["app"]}
  </record>
  # 删除原app字段
  remove_keys kubernetes.labels.app
</filter>

2. 提前在Elastic创建正确映射 #

手动定义索引映射，明确字段类型并禁用动态映射（避免自动生成冲突结构）。示例映射：

{
  "mappings": {
    "properties": {
      "kubernetes": {
        "properties": {
          "labels": {
            "dynamic": false,
            "properties": {
              "app": { "type": "text" },
              "app.kubernetes.io/instance": { "type": "text" }
            }
          }
        }
      }
    }
  }
}

注：如果索引已存在，需删除旧索引或通过reindex调整映射（已存储的数据可能受影响）。

3. 禁用Elastic全局动态映射 #

在索引设置中关闭动态映射，强制使用预定义的字段结构：

{
  "index": {
    "mapping": {
      "dynamic": false
    }
  }
}

这种方式需要提前规划所有字段类型，适合字段结构固定的场景。

rewrite_tag仅修改日志的tag标识，不会改变日志的实际内容（record字段），而问题根源是record中的字段结构与Elastic映射冲突，因此该插件无法解决此问题。

内容的提问来源于stack exchange，提问作者Graeme Burton