如何在运行中的Kraft Kafka 3.4.0集群提升__consumer_offsets副本数

遇到的问题 #

我之前碰到这么个情况：运行中的Kafka集群，一开始offset.topic.replication.factor设的是2，这个配置没法动态修改，于是我把所有Broker和控制器的静态配置改成3，滚动重启了集群。结果发现消费者偏移量（__consumer_offsets）主题的副本数根本没涨，甚至用副本重分配脚本尝试提升，新增的副本没过会儿就消失了。

解决步骤 #

要搞定这个问题，得走删除重建内部主题的路子，步骤如下：

• 先备份偏移量数据：用kafka-dump-log.sh导出__consumer_offsets主题的内容，避免数据丢失
• 停掉所有消费者实例：确保没有消费进程在读写偏移量主题
• 删除原有偏移量主题：执行命令：

  kafka-topics.sh --delete --topic __consumer_offsets --bootstrap-server <你的Broker地址>
  

• 确认所有Broker配置已更新：检查每个节点的server.properties里offset.topic.replication.factor已经设为3，且所有节点都完成了重启
• 触发偏移量主题重建：重启集群的控制器节点，Kafka会自动用新的配置重新创建__consumer_offsets主题
• 验证结果：用命令查看主题副本情况，确认副本数已经变成3：

  kafka-topics.sh --describe --topic __consumer_offsets --bootstrap-server <你的Broker地址>
  

• 恢复备份数据（如果需要）：用kafka-console-producer.sh把之前备份的数据导入新的偏移量主题

为啥之前的方法没用？ #

因为__consumer_offsets是Kafka的内部系统主题，一旦创建完成，修改静态配置offset.topic.replication.factor不会自动更新已有主题的副本数。而常规的副本重分配脚本对这类内部主题不生效，控制器会自动覆盖重分配操作，导致新增的副本被移除，所以必须通过删除重建的方式来应用新的副本数配置。

内容的提问来源于stack exchange，提问作者musmil