Elasticsearch6 nested数组新增字符串字段term查询不命中问题

我在Elasticsearch 6（以下简称ES6）中索引了如下结构的文档：

{
  "id": 1234,
  ...,
  "images": [
    {
      "id": 1703805,
      ...,
      "language_codes": [],
      "ingest_source_ids": [123]
    },
    {
      "id": 2481938,
      ...,
      "language_codes": ["EN"],
      "ingest_source_ids": [1,2,3]
    }
  ]
}

其中images对象的映射类型为nested。

使用如下嵌套查询，通过images.ingest_source_ids字段做term匹配时，可以正常命中上述文档：

{
  "query": {
    "nested": {
      "path": "images",
      "query": {
        "term": {
          "images.ingest_source_ids": 123
        }
      }
    }
  }
}

但将查询字段替换为images.language_codes执行查询时，无法命中该文档，查询语句如下：

{
  "query": {
    "nested": {
      "path": "images",
      "query": {
        "term": {
          "images.language_codes": "EN"
        }
      }
    }
  }
}

背景信息 #

• ingest_source_ids是索引创建初期就存在的字段
• language_codes是后续业务迭代新增的字段
• Elasticsearch会基于首批写入的文档自动生成动态映射，数组类型不需要配置特殊映射，只要数组内所有元素类型一致即可作为数组字段使用
• 当前场景中ingest_source_ids为全数值类型数组，查询表现正常；language_codes始终存储字符串类型元素，按规则应该和前者查询逻辑一致

问题出在ES动态映射的一个极易踩坑的机制：空数组不会触发生成字段映射。

• 新增language_codes字段后，第一批写入的nested子文档中，该字段值是空数组[]。ES无法从空值推断字段类型，根本不会为这个字段创建任何映射条目。
• 后续写入带["EN"]值的文档时，ES按默认动态映射规则，把未定义的字符串字段自动映射为text类型，附带keyword子字段；text类型默认用standard分词器，大写的EN会被处理成小写en写入倒排索引。
• 写的term查询是精确匹配逻辑，查的是images.language_codes这个text根字段，传入的查询值是大写"EN"，和倒排索引里存的小写en完全对不上，自然命不中。
• 反观正常工作的ingest_source_ids：索引刚创建时首批写入就带非空数值，很早就被动态映射为数值类型，数值类型不分词，term查询直接精确匹配就能命中。

按实际场景选以下任意一种即可：

• 长期最优方案：显式更新索引映射，给images.language_codes定义为keyword类型（适合不需要分词的编码、标签、枚举类字段），之后对存量数据做reindex重建索引即可正常查询。映射配置示例：

PUT /你的索引名/_mapping/_doc
{
  "properties": {
    "images": {
      "type": "nested",
      "properties": {
        "language_codes": {
          "type": "keyword"
        }
      }
    }
  }
}

• 临时兼容方案（无需改映射重建索引）：直接查询动态生成的keyword子字段，查询语句调整为：

{
  "query": {
    "nested": {
      "path": "images",
      "query": {
        "term": {
          "images.language_codes.keyword": "EN"
        }
      }
    }
  }
}

• 快速验证方案：把现有term查询的匹配值改成小写"en"，如果能命中即可完全确认是分词+大小写不匹配导致的问题。

• 新增字段时不要依赖首批写入的空值触发动态映射，尤其是nested类型下的子字段，最好提前显式定义映射规则。
• 所有不需要分词的精确匹配字符串字段（编码、枚举、ID、标签），一律显式设置为keyword类型，不要依赖ES默认的动态字符串映射。
• term查询是精确匹配逻辑，不会对查询字符串做分词，用在text字段上时必须保证查询值和倒排索引里的分词结果完全一致（包括大小写、分词形式）。

内容的提问来源于stack exchange，提问作者mtrolle