Elasticsearch复合聚合size参数未生效问题咨询

咱们先把复合（composite）聚合的核心逻辑理清楚，这能帮你理解为什么会出现只返回8个桶却带有after_key的情况：

关于size参数的误区 #

你可能误以为composite里的size:100是设置要返回的所有聚合桶的总数上限，但实际上这个参数控制的是单次请求能返回的最大桶数。默认值是10，你设置成100意味着单次最多给你100个桶，但如果还有更多未返回的桶，Elasticsearch就会返回after_key，用来作为下一页查询的起始标记。

为什么这次只返回8个桶？ #

出现这种情况的核心原因有两个：

1. 分片处理逻辑限制：复合聚合会先让每个分片独立生成符合条件的桶，然后协调节点收集所有分片的桶，去重、排序后返回最多size个桶。如果在收集过程中，协调节点发现还有未处理完的桶（来自分片），哪怕当前只凑够了8个唯一桶，也会返回after_key，表示还有后续结果。
2. 字段组合的分布特性：你的聚合基于7个字段的组合，这些组合的唯一值可能分布比较分散，Elasticsearch在第一次查询中只返回了排序最靠前的8个桶，剩下的需要通过分页来获取。

如何获取所有聚合桶？ #

要拿到所有结果，你需要用after_key做游标式分页查询，具体步骤如下：

1. 把响应中的after_key完整复制到下一次请求的composite配置里，添加after参数，示例如下：

GET index_name/_search
{
  "size": 0,
  "aggs": {
    "my_buckets": {
      "composite": {
        "size": 100,
        "after": {
          "field1" : 0.0,
          "field2" : "0.0",
          "field3" : "some-value",
          "field4" : "0.0",
          "field5" : "some-value",
          "field6" : "0.0",
          "field7" : 0
        },
        "sources": [
          { "field1": { "terms": { "field": "field1" } } },
          { "field2": { "terms": { "field": "field2.raw" } } },
          { "field3": { "terms": { "field": "field3" } } },
          { "field4": { "terms": { "field": "field4.raw" } } },
          // 其他字段保持不变
          { "field7": { "terms": { "field": "field7" } } }
        ]
      },
      "aggregations": {
        "hits": {
          "top_hits": {
            "size": 100,
            "_source": { "includes": "field10" }
          }
        }
      }
    }
  }
}

2. 重复执行这个分页请求，直到响应中不再出现after_key，这就说明所有聚合桶都已经获取完毕。

额外提醒 #

• 复合聚合的游标式分页和普通terms聚合的分页逻辑不同，它能避免分页过程中出现丢数据的问题，适合处理大量聚合桶的场景。
• 如果聚合桶总数非常大，不建议尝试一次性获取所有桶，这样会占用大量内存，分页逐步获取是更稳妥的方式。

内容的提问来源于stack exchange，提问作者Seetha