Elasticsearch嵌套数组JSON索引失败问题求助

这个错误的根源很好理解：你当前的mapping把variables.value固定定义成了text/keyword类型，但你的数据里value字段的类型并不统一——有的是普通字符串（比如EUROBANK），有的却是嵌套的对象数组（比如CUSTOMERS对应的value）。当Elasticsearch遇到后者时，它需要把variables.value映射成object类型，这就和之前的text类型产生了冲突，于是抛出了Can't merge a non object mapping [variables.value] with an object mapping [variables.value]这个错误。

下面给你几个可行的解决方案，根据你的实际需求选择：

方案1：使用flattened类型（推荐，适配结构不固定的场景） #

如果你的variables.value字段结构不固定（可能是字符串、对象、数组等多种类型），flattened类型是最省心的选择。它可以接受任意JSON结构，并自动把所有嵌套的键值对扁平化成可搜索的字段。

修改后的mapping如下：

{
  "example_data": {
    "mappings": {
      "data": {
        "properties": {
          "activity_id": { "type": "text" },
          "name": { "type": "text" },
          "process_name": { "type": "text" },
          "process_version": { "type": "integer" },
          "process_id": { "type": "text" },
          "datetime": { "type": "date", "format": "yyyy-MM-dd HH:mm:ss" },
          "username": { "type": "text", "analyzer": "greek" },
          "variables": {
            "type": "nested",
            "properties": {
              "data_type": {
                "type": "text",
                "fields": { "keyword": { "type": "keyword", "ignore_above": 256 } }
              },
              "name": {
                "type": "text",
                "fields": { "keyword": { "type": "keyword", "ignore_above": 256 } }
              },
              "value": { "type": "flattened" }
            }
          }
        }
      }
    }
  }
}

使用这个mapping后，你既可以搜索顶层的variables.value，也可以搜索嵌套的字段，比如variables.value.variables.CUSTOMER_NAME:JOHN，完全适配你的数据结构。

方案2：使用动态模板精准匹配类型（适合结构相对固定的场景） #

如果你的data_type字段可以明确标识value的类型（比如STRING对应字符串，ENTITY对应嵌套对象），可以用动态模板来为不同类型的value设置对应的映射，这样能更精准地控制字段的索引行为。

修改后的mapping示例：

{
  "example_data": {
    "mappings": {
      "data": {
        "dynamic_templates": [
          {
            "string_value_mapping": {
              "path_match": "variables.value",
              "match_mapping_type": "string",
              "mapping": {
                "type": "text",
                "fields": { "keyword": { "type": "keyword", "ignore_above": 256 } }
              }
            }
          },
          {
            "entity_value_mapping": {
              "path_match": "variables.value",
              "match_mapping_type": "object",
              "mapping": {
                "type": "nested",
                "properties": {
                  "variables": {
                    "type": "nested",
                    "properties": {
                      "name": {
                        "type": "text",
                        "fields": { "keyword": { "type": "keyword", "ignore_above": 256 } }
                      },
                      "data_type": {
                        "type": "text",
                        "fields": { "keyword": { "type": "keyword", "ignore_above": 256 } }
                      },
                      "value": {
                        "type": "text",
                        "fields": { "keyword": { "type": "keyword", "ignore_above": 256 } }
                      }
                    }
                  }
                }
              }
            }
          }
        ],
        "properties": {
          "activity_id": { "type": "text" },
          "name": { "type": "text" },
          "process_name": { "type": "text" },
          "process_version": { "type": "integer" },
          "process_id": { "type": "text" },
          "datetime": { "type": "date", "format": "yyyy-MM-dd HH:mm:ss" },
          "username": { "type": "text", "analyzer": "greek" },
          "variables": {
            "type": "nested",
            "properties": {
              "data_type": {
                "type": "text",
                "fields": { "keyword": { "type": "keyword", "ignore_above": 256 } }
              },
              "name": {
                "type": "text",
                "fields": { "keyword": { "type": "keyword", "ignore_above": 256 } }
              }
            }
          }
        }
      }
    }
  }
}

这个模板会自动识别variables.value的类型：如果是字符串，就用text/keyword映射；如果是对象，就把它设为nested类型，同时内部的variables也用nested映射，完美支持多层嵌套的索引。

操作步骤 #

不管选择哪个方案，都需要先清理旧的索引（如果没有重要数据的话），再创建新索引并应用新mapping，最后重新导入数据：

• 删除旧索引：

DELETE /example_data

• 创建新索引并设置mapping：把上面的对应JSON作为请求体，发送PUT /example_data请求
• 重新导入你的JSON数据

内容的提问来源于stack exchange，提问作者ktsigkounis