基于Druid的跨日期范围唯一客户统计问题及优化方案咨询

问题背景 #

原订单表数据如下：

day     order_id    customer_id
1       1           1
1       2           1
1       3           2
2       4           1
2       5           1

需要统计Day1至Day2的唯一客户数，正确结果为2。但因原表数据量过大查询缓慢，生成了按日聚合唯一客户数的表：

day     uniq_customer
1       2
2       1

直接相加得到的3与正确结果不符，原因是跨天活跃的客户（如customer_id=1）被重复计算。现需在不查询原表的前提下解决该问题，数据源为Druid。

解决方案 #

核心思路是利用Druid支持的可合并近似去重聚合器，在日聚合表中存储去重结构而非最终数值，这样跨日汇总时可以合并这些结构得到准确的全局去重数。

1. 重新生成带可合并去重结构的日聚合表 #

放弃直接存储count(distinct customer_id)的数值，改用Druid的Theta Sketch或HyperLogLog聚合器生成日聚合表：

• Theta Sketch：配置聚合器类型为thetaSketch，指定字段为customer_id，聚合表中存储每个日期的Theta Sketch对象（而非单一数字）。
• HyperLogLog：配置聚合器类型为hyperUnique，同样基于customer_id生成可合并的HyperLogLog结构。

2. 跨日合并计算全局唯一客户数 #

以Theta Sketch为例，假设重新生成的日聚合表名为daily_customer_sketches，包含day和customer_sketch字段（存储Theta Sketch数据），执行以下查询即可得到正确结果：

SELECT THETA_SKETCH_ESTIMATE(THETA_SKETCH_MERGE(customer_sketch)) AS total_uniq_customers
FROM daily_customer_sketches
WHERE day BETWEEN 1 AND 2

该查询会合并Day1和Day2的Sketch数据，最终输出准确的近似去重客户数（本例中为2）。

关键说明 #

如果已经生成了仅存储数值的日聚合表，由于丢失了客户去重的核心标识信息，无法直接从该表得到正确结果，必须重新生成带可合并去重结构的聚合表——这是不查询原表的唯一可行方案。

内容的提问来源于stack exchange，提问作者Juvenik