DynamoDB Streams多实例消费问题：重复处理与分片配额疑问

问题1：多实例消费同一条Stream时，是否会重复接收同一条记录？ #

不会出现所有实例都收到同一条记录的情况。KCL通过租约机制（依赖专门的DynamoDB租约表）管理分片分配：每个Stream分片只会被分配给当前消费组内的一个实例，该实例负责处理这个分片上的所有记录。

不过要注意两种可能的重复场景：

• 当实例处理记录失败且未正确提交checkpoint时，KCL会把该分片重新分配给其他实例，同一条记录可能会被再次处理。
• 极端情况下，租约表短暂不一致可能导致分片被重复分配，但这种概率极低。

因此你的应用必须实现幂等处理逻辑，确保同一条记录被多次处理也不会产生异常结果。

问题2：4个同一消费者实例算几个消费者？需要多少分片？ #

• 这4个实例属于同一个消费者组（由KCL配置中的applicationName标识），不算4个独立消费者。AWS文档中“每个DynamoDB分片最多支持2个消费者”，指的是同一个分片可以被同一消费组内的最多2个实例并发消费（DynamoDB Stream分片本身支持2个并发读取连接）。
• 要支撑4个实例同时消费，你需要至少2个DynamoDB Stream分片。因为每个分片最多分配给2个实例，2个分片刚好能承载4个实例的并发消费需求。如果分片数量少于2，多余的实例会处于空闲状态，无法分配到分片任务。

内容的提问来源于stack exchange，提问作者Davoin Showerhandles