如何在Elasticsearch中对唯一值求和？

你的需求是对重复id对应的唯一value求和，等效于SQL中先按id和value分组去重再求和的逻辑。之前用terms+sum_bucket的方式会受限于terms聚合的size参数，无法遍历所有桶，以下是几种可行的解决方法：

方法一：用Composite聚合遍历所有分组桶 #

Composite聚合专为遍历全部分组场景设计，支持分页获取所有桶，不会因为size限制遗漏数据。结合sum_bucket即可实现完整求和：

{
  "size": 0,
  "aggs": {
    "uniq_ids": {
      "composite": {
        "size": 1000, // 每次返回的桶数量，可根据实际情况调整
        "sources": [
          {"id": {"terms": {"field": "id"}}}
        ]
      },
      "aggs": {
        "unique_value": {
          "avg": {"field": "value"} // 同一id的value完全相同，avg结果等于单个value值
        }
      }
    },
    "total_sum": {
      "sum_bucket": {
        "buckets_path": "uniq_ids>unique_value",
        "gap_policy": "skip"
      }
    }
  }
}

说明：如果数据量较大，需要通过分页遍历所有桶——每次调用后，用上一次返回结果中的after值作为下一次请求的composite.after参数，直到返回的buckets为空，最终的total_sum会累计所有桶的求和结果。

方法二：直接使用Elasticsearch SQL #

Elasticsearch原生支持SQL查询，你可以直接执行和需求完全等效的SQL语句，无需编写复杂的DSL：

SELECT sum(value)
FROM (
    SELECT id, value
    FROM your_index_name
    GROUP BY id, value
)

可以通过Kibana Dev Tools、Elasticsearch的/_sql端点执行这条语句，内部会自动处理去重与求和逻辑，无需担心分组数量限制。

方法三：写入阶段预处理（可选优化） #

如果业务场景允许，建议从根源减少重复数据：

• 用Ingest Pipeline在数据写入时按id去重，确保每个id仅保留一份文档
• 在数据生成端提前完成去重，避免重复数据进入索引
  处理后直接用普通的sum聚合即可得到结果，查询性能会大幅提升。

内容的提问来源于stack exchange，提问作者ldrg