Spring Cloud Stream单Kinesis分片下多实例重复消费同消息问题

该问题是Kinesis原生消费机制约束、spring-cloud-stream-binder-kinesis 2.2.0版本的静态分配逻辑缺陷共同导致的：

• Kinesis本身的消费粒度是分片级，正常情况下同一个消费组内的单个分片同一时间只能被1个消费者持有，消费租约和位点存在绑定的DynamoDB表中，同组其他消费者无法拉取已被持有的分片数据。
• 你当前使用的2.2.0版本Kinesis binder存在明确的静态分片分配bug：当你手动配置spring.cloud.stream.instanceCount和spring.cloud.stream.instanceIndex启用静态部署感知时，该版本的分配逻辑没有做分片归属的排他校验。如果流的总分片数小于部署的实例总数（你的场景是1分片、2个实例），逻辑会错误地将全部分片分配给所有在线实例，不会按照哈希规则将分片排他分配给单个实例、让未分到分片的实例进入空闲状态。
• 配置的消费组参数未达预期也是这个bug导致的：该版本下静态实例配置的优先级高于KCL原生的消费组租约协调逻辑，实例启动后不会去DynamoDB校验目标分片是否已经被同组其他实例持有，直接启动消息拉取、独立维护消费进度，最终两个实例都能拉到单分片的全量数据。
• 分片数提升到2后问题消失的逻辑很简单：此时总分片数和部署实例数相等，分配逻辑可以给每个实例排他分配1个独立分片，不会出现分片重叠分配的情况，重复消费自然就消失了。
• 额外提一句：你配置的consumer.concurrency=2在单分片场景下是无效配置，Kinesis单个分片最多只支持1个线程拉取数据，这个值设得大于1不会提升消费吞吐，反而可能在有逻辑缺陷的版本中触发单实例内的重复消费。

内容的提问来源于stack exchange，提问作者Dan Nemes