如何在Elastic Search全索引执行Composite Aggregation并返回完整结果

问题根源 #

Composite Aggregation 默认size参数为10，所以只会返回10组聚合结果；而且它不支持传统的from/size分页，必须通过after key滚动拉取所有数据。

实现步骤 #

1. 初始查询：设置合适的size（比如1000，根据数据量调整，越大单次返回结果越多，减少请求次数），执行聚合查询。
2. 检查滚动标记：查看响应中的after_key字段，如果存在，说明还有未返回的聚合结果。
3. 循环滚动拉取：将after_key的值作为下一次查询的after参数，重复请求，直到响应中没有after_key，此时已获取全量聚合结果。

示例查询语句 #

初始查询 #

{
  "size": 0,  // 不需要返回原始文档，设为0提升性能
  "aggs": {
    "product_stats": {
      "composite": {
        "size": 1000,
        "sources": [
          {"product_category": {"terms": {"field": "category.keyword"}}},
          {"sale_date": {"date_histogram": {"field": "sale_date", "calendar_interval": "week"}}}
        ]
      }
    }
  }
}

带after参数的后续查询 #

如果第一次响应返回了after_key，比如：

{
  "aggregations": {
    "product_stats": {
      "buckets": [...],
      "after_key": {
        "product_category": "digital",
        "sale_date": 1701369600000
      }
    }
  }
}

下一次查询就带上after参数继续拉取：

{
  "size": 0,
  "aggs": {
    "product_stats": {
      "composite": {
        "size": 1000,
        "sources": [
          {"product_category": {"terms": {"field": "category.keyword"}}},
          {"sale_date": {"date_histogram": {"field": "sale_date", "calendar_interval": "week"}}}
        ],
        "after": {
          "product_category": "digital",
          "sale_date": 1701369600000
        }
      }
    }
  }
}

注意事项 #

• size不要设置过大，避免单次请求数据量超限导致超时或集群性能下降，建议根据集群配置和数据量调整（比如500-2000之间）。
• 可以用脚本（Python/Java/Shell等）自动循环请求，自动提取after_key并发起下一次查询，最后合并所有返回的buckets得到完整结果。

截图示例 #

查询语句截图 #

含after_key的响应截图 #

全量结果合并后的截图 #

内容的提问来源于stack exchange，提问作者Jason