如何快速实现DynamoDB百万级数据的分组计数？

针对你百万级数据下用Query分页统计慢的问题，以下是几种更高效的方案，按需选择：

1. 预计算存储唯一计数（实时最优） #

单独建两张辅助表：

• EventIdRegistry：主键设为Eventid，仅存储已出现过的唯一Eventid，每条记录只保留Eventid字段即可。
• AuditCounter：主键用固定值（比如EventCount），存一个count属性记录唯一Eventid的总数。

写入主事件表时，先尝试向EventIdRegistry写入当前Eventid：

• 若写入成功（说明是新的Eventid），调用UpdateItem对AuditCounter的count执行ADD 1操作。
• 若写入失败（Eventid已存在），跳过计数更新。

后续统计时，直接查询AuditCounter的count值即可，速度为O(1)，完全不受数据量影响。

2. 用DynamoDB Streams + Lambda异步维护计数 #

如果不想影响主写入流程的性能，可采用异步处理方式：

• 给主事件表开启DynamoDB Streams，捕获所有新增/修改的记录。
• 绑定Lambda函数到Streams，Lambda从流中提取Eventid，通过EventIdRegistry表判断是否为新Eventid，异步更新AuditCounter的计数。

这种方式下主写入操作无需等待计数更新，统计维护在后台完成，查询时依然直接读取计数器表，性能与方案1一致。

3. 离线统计（适合非实时审计） #

若审计统计无需实时执行（比如每天/每小时跑一次）：

• 定期将DynamoDB数据导出到S3（使用DynamoDB全量或增量导出功能）。
• 用Amazon Athena连接S3数据，执行SQL查询：

  SELECT COUNT(DISTINCT Eventid) AS unique_event_count FROM your_table;
  

Athena是分布式查询引擎，处理百万级数据的去重计数速度极快，且按查询量计费，成本较低。

为什么不推荐继续用Query分页？ #

DynamoDB的Query/Scan本身是为获取具体条目设计的，百万级数据分页遍历会消耗大量读容量单位（RCU），且客户端需处理多次请求，速度自然缓慢。而上面的方案要么提前维护好计数，要么用分布式引擎批量处理，效率提升非常明显。

内容的提问来源于stack exchange，提问作者ghostrider