Spring Boot连接Kafka后触发__consumer_offsets副本因子错误

问题根源 #

__consumer_offsets是Kafka的内部系统主题，用于存储消费者偏移量，它的副本因子配置不由Spring Cloud Stream客户端控制，而是由Kafka Broker的全局配置决定。你当前是单Broker环境，但Kafka默认副本因子为3，导致自动创建该主题时因可用Broker数量不足报错。

解决方案 #

方法一：修改Kafka Broker全局配置（推荐） #

编辑Kafka的server.properties配置文件，添加或修改以下参数：

# 设置自动创建主题（含系统主题）的默认副本因子
default.replication.factor=1
# 设置最小同步副本数，单Broker环境必须设为1
min.insync.replicas=1

修改完成后重启Kafka Broker，Kafka会自动用新配置创建__consumer_offsets主题。

方法二：手动创建__consumer_offsets主题 #

如果Kafka已启动且自动创建失败，可通过Kafka命令行工具手动创建该主题：

kafka-topics.sh --create \
  --topic __consumer_offsets \
  --bootstrap-server localhost:19092 \
  --partitions 50 \
  --replication-factor 1 \
  --config cleanup.policy=compact

注意：__consumer_offsets默认有50个分区，且必须启用compact清理策略，否则无法正常存储消费者偏移量。

关于你的Spring Cloud Stream配置 #

你配置的replication-factor仅对业务自定义主题生效，无法控制Kafka内部系统主题的参数，因此这些配置无需调整。

内容的提问来源于stack exchange，提问作者Anadi Misra