Elasticsearch按chainID聚合后跨文档属性查询问题

问题背景 #

我们有一批通过chainID字段逻辑关联的文档，同一chainID对应属性不同的多个文档（比如chainID=123对应含att1/att2的文档和含att3/att4的文档），这些文档会不定时索引到同一Elasticsearch索引。需要实现按chainID分组后，查询同时满足att1=a和att3=c的chainID，但直接使用bool must查询会因单个文档无法同时匹配两个条件而返回空结果。

解决方案 #

方案一：不修改数据模型，用聚合+桶筛选实现 #

无需调整现有映射，通过嵌套聚合先分组再筛选符合条件的chainID：

{
  "size": 0, // 无需返回原始文档，仅获取聚合结果
  "aggs": {
    "group_by_chainID": {
      "terms": {
        "field": "chainID.keyword"
      },
      "aggs": {
        // 统计当前chainID分组下包含att1=a的文档数
        "has_att1_a": {
          "filter": {
            "term": {
              "att1.keyword": "a"
            }
          }
        },
        // 统计当前chainID分组下包含att3=c的文档数
        "has_att3_c": {
          "filter": {
            "term": {
              "att3.keyword": "c"
            }
          }
        },
        // 筛选出同时满足两个条件的chainID分组
        "filter_valid_chains": {
          "bucket_selector": {
            "buckets_path": {
              "count_att1": "has_att1_a._count",
              "count_att3": "has_att3_c._count"
            },
            "script": "params.count_att1 > 0 && params.count_att3 > 0"
          }
        }
      }
    }
  }
}

逻辑说明：

1. 先按chainID.keyword对所有文档分组
2. 对每个分组，分别统计匹配att1=a和att3=c的文档数量
3. 用bucket_selector脚本筛选出两个统计值都大于0的分组，这些就是符合要求的chainID

方案二：调整数据模型（长期高效方案） #

如果这类查询频率较高，建议重构数据模型，将同一chainID的所有属性合并到单个文档中，示例：

{
  "att1": "a",
  "att2": "b",
  "att3": "c",
  "att4": "d",
  "chainID": "123"
}

之后就可以直接用你最初的bool must查询，性能比聚合方式更优。如果文档是异步索引的，可以将chainID作为文档ID，执行upsert操作：当chainID对应的文档不存在时插入，存在则合并字段更新。

原查询失败原因 #

Elasticsearch的bool must查询是针对单个文档的，要求单个文档同时满足所有must条件，但你的数据中没有任何文档同时包含att1=a和att3=c，因此返回空结果。聚合操作确实在查询之后执行，所以必须先获取全量文档再分组筛选。

内容的提问来源于stack exchange，提问作者LoX1904