ElasticSearch 8.2文本数组长度计算异常问题求助

问题原因 #

当你使用doc['my_array'].length时，访问的是text字段启用fielddata后加载的倒排索引词项集合。text类型字段默认会对内容分词（即使是单个字符串），并且倒排索引会自动对重复词项去重。所以数组["a","a"]在倒排索引中只会保留一个"a"词项，因此doc['my_array'].length返回1，而非原始数组的实际长度2。

解决方案 #

方法1：直接访问原始文档的_source数据 #

通过params._source获取文档原始内容，直接读取原始数组长度：

{
  "script_fields": {
    "my_array_length": {
      "script": { 
        "source": "params._source.my_array.length"
      }
    }
  }
}

注意：若文档体积较大，频繁访问_source会增加内存开销，更适合小文档场景。

方法2：添加keyword子字段并访问其values数组 #

修改字段映射，为text字段添加keyword子字段（keyword类型会保留每个原始元素，包括重复项）：

PUT my-index-000001/_mapping
{
  "properties": {
    "my_array": { 
      "type": "text",
      "fielddata": true,
      "fields": {
        "keyword": {
          "type": "keyword",
          "ignore_above": 256
        }
      }
    }
  }
}

修改映射后需要重新索引文档（旧文档的子字段数据不会自动生成），之后用以下查询获取正确长度：

{
  "script_fields": {
    "my_array_length": {
      "script": { 
        "source": "doc['my_array.keyword'].length"
      }
    }
  }
}

该方法性能更优，适合需要频繁统计数组长度的场景。

方法3：将字段类型改为keyword（如果不需要分词） #

如果数组内容不需要分词（比如固定字符串、标签等），可直接将字段类型改为keyword，此时doc['my_array'].length就能返回正确的重复元素计数：

PUT my-index-000001/_mapping
{
  "properties": {
    "my_array": { 
      "type": "keyword"
    }
  }
}

同样需要重新索引文档后生效。

内容的提问来源于stack exchange，提问作者Inze