如何突破DynamoDB BatchGetItem限制批量查询数千条主键对应数据

首选仍基于官方提供的BatchGetItem接口实现，只要对请求逻辑做简单优化即可满足需求，具体方案如下：

• 主键分片处理：将待查询的数千个主键按每100个为一组拆分，几千条数据最多仅需拆分几十组，分片逻辑本身几乎无性能损耗
• 直接使用SDK内置封装能力：目前AWS各语言官方SDK基本都已经内置了BatchGetItem的自动分组、并发请求、自动重试能力，比如Python的boto3、Java的AWS SDK v2等，你可以直接传入全部待查询的主键，SDK会自动拆分为单次最多100个键的请求并行发送，还会自动处理*未处理的键（UnprocessedKeys）*的重试逻辑，不需要自己手写分片、并发调度的代码
• 吞吐量适配：如果你的表用的是按需读模式，基本无需额外控制吞吐量；如果是预置读容量模式，可以给并发请求加简单的限流策略，避免超过预置上限触发节流报错

不建议使用Scan+过滤的方案实现该需求：Scan会扫描全表数据，无论最终返回多少条记录，都会消耗与扫描数据量对应的读容量，成本和延迟都会远高于批量主键查询
也不要循环调用GetItem接口单条查询：单条请求的网络往返开销累加后，会比批量请求高3~10倍

如果需要进一步优化性能，可以参考两个可选方案：

• 若这批数据后续还有重复查询的需求，可以在客户端增加缓存层（本地内存缓存或Redis均可），避免重复请求DynamoDB
• 若仅需要返回部分字段，可以在请求中指定ProjectionExpression只返回需要的字段，减少数据传输量的同时也能降低读容量消耗

内容的提问来源于stack exchange，提问作者devx