如何通过Elasticsearch聚合统计标签所在的唯一Bucket数量

针对你的需求，以下提供两种适配不同场景的Elasticsearch聚合方案，直接解决你当前的统计问题：

方案1：Terms + Cardinality 聚合（小数据量首选） #

这种方式直接按标签分组，再统计每组内唯一metadataId的数量，结构清晰且满足核心需求：

{
  "size": 0,
  "aggs": {
    "label_groups": {
      "terms": {
        "field": "document.label",
        "size": 1000  // 根据实际标签总数调整该值
      },
      "aggs": {
        "unique_metadata_count": {
          "cardinality": {
            "field": "document.metadata.id"
          }
        }
      }
    }
  }
}

输出示例 #

"aggregations" : {
  "label_groups" : {
    "buckets" : [
      {
        "key" : "label one",
        "doc_count" : 3,
        "unique_metadata_count" : {
          "value" : 2  // 该标签关联的不同metadataId数量（即你需要的计数）
        }
      },
      {
        "key" : "label three",
        "doc_count" : 3,
        "unique_metadata_count" : {
          "value" : 1
        }
      }
    ]
  }
}

方案2：Composite + Pipeline 聚合（大数据量分页场景） #

如果标签或metadataId数量极大，Terms聚合无法返回全量结果（受限于size参数），可以先通过Composite聚合获取所有唯一的(metadataId, label)组合，再用Pipeline聚合按标签维度统计数量：

{
  "size": 0,
  "aggs": {
    "metadata_label_pairs": {
      "composite": {
        "sources": [
          {
            "label": {
              "terms": {
                "field": "document.label"
              }
            }
          },
          {
            "metadataId": {
              "terms": {
                "field": "document.metadata.id"
              }
            }
          }
        ],
        "size": 1000  // 每次分页返回的组合数量
      },
      "aggs": {
        "label_agg": {
          "bucket_terms": {
            "buckets_path": "key.label",
            "size": 1000
          },
          "aggs": {
            "unique_metadata_count": {
              "value_count": {
                "buckets_path": "_count"
              }
            }
          }
        }
      }
    }
  }
}

核心逻辑 #

1. Composite聚合生成所有唯一的(标签, metadataId)组合，避免Terms聚合的数量限制
2. Pipeline的bucket_terms按标签对组合分组，value_count统计每组的组合数，即该标签关联的不同metadataId数量

原查询问题说明 #

你当前的Composite聚合将metadataId和label设为联合主键，导致每个组合单独生成一个Bucket，无法直接得到标签维度的统计结果。上述两种方案通过分层聚合或Pipeline二次统计，直接实现了你需要的标签-唯一metadataId计数映射。

内容的提问来源于stack exchange，提问作者Dan