如何让Spring应用3个实例共同消费同一个Kafka Topic？

你遇到的问题是因为Kafka消费组的默认机制：相同groupId的消费者实例会分摊消费topic的分区，每个分区仅由组内一个实例消费，所以多个同组实例只会有部分实例收到消息。要实现所有实例共同消费（广播模式），可以采用以下两种方案：

方案一：每个实例使用唯一消费组ID（推荐） #

让每个应用实例启动时生成唯一的groupId，相当于每个实例属于独立的消费组，Kafka会将消息投递到每个消费组，从而所有实例都能收到全量消息。

代码实现 #

import java.util.UUID;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;

@Component
public class ConfigDataConsumer {

    // 动态生成唯一groupId，确保每个实例的消费组独立
    @KafkaListener(
        topics = Constants.MY_TOPIC,
        groupId = "config-consumer-" + UUID.randomUUID()
    )
    public void consume(ConfigData configData) {
        try {
            myservice.setConfig(configData, null);
        } catch (Exception e) {
            log.error("消费配置数据失败", e);
        }
    }
}

配置文件方式（Spring Boot） #

也可以在application.yml中配置动态生成的groupId，避免硬编码：

spring:
  kafka:
    consumer:
      # 结合应用名+随机UUID生成唯一消费组ID
      group-id: ${spring.application.name}-${random.uuid}

此时@KafkaListener无需指定groupId，会自动使用配置中的值：

@KafkaListener(topics = Constants.MY_TOPIC)
public void consume(ConfigData configData) {
    // 消费逻辑不变
}

方案二：同组内强制全部分区订阅（不推荐） #

如果必须保留相同的groupId，可以通过配置消费者的分区分配策略，让每个实例订阅topic的所有分区。但这种方式违背了Kafka消费组的负载均衡设计，仅适用于特殊场景。

代码实现 #

在@KafkaListener中指定消费者配置：

import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;

@Component
public class ConfigDataConsumer {

    @KafkaListener(
        topics = Constants.MY_TOPIC,
        groupId = Constants.GROUP_NAME,
        properties = {
            "partition.assignment.strategy=org.apache.kafka.clients.consumer.RoundRobinAssignor",
            "group.instance.id=${random.uuid}"
        }
    )
    public void consume(ConfigData configData) {
        try {
            myservice.setConfig(configData, null);
        } catch (Exception e) {
            log.error("消费配置数据失败", e);
        }
    }
}

注：group.instance.id设置为唯一值是为了避免实例重启时的分区重新分配冲突，确保每个实例能稳定订阅全部分区。

关键说明 #

• 方案一完全符合Kafka的设计逻辑，维护成本低，是广播消费的首选方案。
• 方案二仅适用于必须共享groupId的特殊场景，可能会引发重复消费和分区分配异常问题。
• 注意修正你代码中的笔误：ConsfigData应为ConfigData，避免编译错误。

内容的提问来源于stack exchange，提问作者u work