Elasticsearch如何提取数组字段内指定前缀的去重唯一ID

之前的查询存在逻辑层面的偏差：

• 外层filter聚合是文档级过滤逻辑：只要文档的ids数组里有任意一个值符合apple前缀，整个文档就会被纳入后续聚合流程。
• 后续的terms聚合会把该文档ids数组的所有值都纳入统计，哪怕部分值根本不符合前缀规则，最终就会导致结果里混入orange_B、banana_A这类无关ID。
• 本质上之前的查询是在筛选"包含符合前缀ID的文档"，而不是直接筛选"符合前缀的ID值本身"，自然会带出同文档下的其他无关内容。

推荐方案：直接在terms聚合上做值级过滤 #

不需要复杂的嵌套结构，直接用terms聚合自带的include参数，从根源上只让符合规则的ID值参与聚合，完全避免无关值混入。
查询语句如下：

{
  "size": 0,
  "aggregations": {
    "matching_ids": {
      "terms": {
        "field": "ids.keyword",
        "include": "^apple.*",
        "size": 10000
      }
    }
  }
}

参数说明：

• 设置size:0，跳过文档结果返回，仅获取聚合内容，减少查询开销。
• include: "^apple.*" 是正则规则，匹配所有以apple为前缀的ID值，只有满足这个规则的ID才会被生成聚合桶，同文档下其他不匹配的ID会被直接排除在统计范围外。
• 把terms的size设置为10000，避免默认仅返回10条的限制导致结果不全，可根据实际业务的ID量级调整数值。

实际效果 #

套用给出的示例数据，上述查询的聚合结果只会出现apple_A、apple_B、apple_C三个去重后的ID，不会包含任何不符合前缀规则的无关值。

补充说明：如果需要更严格的匹配规则，比如要求apple前缀后必须连接下划线，只需要把include的正则调整为^apple_.*即可。如果后续有更复杂的数组元素过滤需求，可以考虑将ids字段改为nested类型配合嵌套聚合实现，但需要修改现有索引mapping，迁移成本较高，当前场景下完全没必要。

内容的提问来源于stack exchange，提问作者ted。