如何让Kafka消费组内所有消费者均消费全部生产记录？

你提到的需求是让同一个消费组内的多个消费者都能接收到全量消息，这其实不能通过修改常规配置实现，因为Kafka消费组的核心设计逻辑就是：单个分区的消息只能被同一消费组内的一个消费者消费——这是为了保证消息的有序性，同时实现消费负载的分摊。

不过要实现“多个消费者都拿到全量消息”的需求，有两种可行方案：

方案1：使用不同的消费组ID（推荐） #

这是Kafka场景下实现全量消息多副本消费的标准方式，操作非常简单：

• 给consumer1设置group.id=group-1
• 给consumer2设置group.id=group-2

每个消费组都会独立维护自己的消息偏移量，彼此之间没有关联，所以两个消费者都会接收到生产者发送的1-10的所有记录。这种方式完全符合Kafka的设计理念，没有额外的复杂度和风险。

方案2：自定义分区分配策略（不推荐） #

如果硬要在同一个消费组内实现该需求，可以通过自定义partition.assignment.strategy来让每个消费者分配到所有分区。不过这种方式存在明显弊端：

• 违背了消费组负载分摊的设计初衷，会导致所有消费者重复消费相同的消息
• 消费组的偏移量管理会出现混乱（多个消费者更新同一个分区的偏移量）
• 实现复杂，需要自定义分配策略类，对于新手来说成本很高

所以除非有特殊的业务强制要求，否则强烈推荐使用方案1。

内容的提问来源于stack exchange，提问作者Janani