如何修复Kafka 2.8.x与ZooKeeper间主题存在状态不一致问题

问题场景 #

通过Terraform管控Kafka主题创建时偶发异常：首次apply报连接错误；重新replan后工具提示需创建主题，再次apply却提示主题已存在。此时ZooKeeper节点已记录该主题元数据，但所有Kafka Broker中均无此主题。

环境配置：

• ZooKeeper集群：3节点，版本3.5.9
• Kafka集群：6节点，版本2.13-2.8.0

解决步骤 #

针对该版本的Kafka（仍基于ZooKeeper存储元数据），按以下步骤清理不一致的元数据：

1. 暂停Terraform管控
   先移除Terraform配置中该主题的定义，避免后续操作被工具重复触发。

2. 清理ZooKeeper中的主题元数据
   使用ZooKeeper客户端连接集群并删除对应节点：

   # 连接到ZooKeeper集群（替换为你的ZK地址）
   zkCli.sh -server zookeeper-N.FQDN:2181
   

   在ZK客户端中执行：

   # 确认主题节点存在
   ls /brokers/topics
   # 删除主题元数据节点
   rmr /brokers/topics/troubleSomeTopic
   # 删除主题配置节点（如果存在）
   rmr /config/topics/troubleSomeTopic
   # 退出客户端
   quit
   

3. 触发Broker元数据刷新
   执行以下命令让所有Broker主动拉取最新的ZK元数据：

   kafka-topics.sh --list --bootstrap-server kafka-N.FQDN:6667
   

   若执行后仍未同步，可考虑滚动重启所有Kafka Broker（业务允许的情况下），确保元数据彻底更新。

4. 验证清理结果

   # 确认ZK中无主题记录
   kafka-topics.sh --describe --zookeeper zookeeper-N.FQDN:2181 --topic troubleSomeTopic
   # 确认Broker中无主题记录
   kafka-topics.sh --describe --bootstrap-server kafka-N.FQDN:6667 --topic troubleSomeTopic
   

   两次命令均应提示主题不存在。

5. 重新创建主题
   恢复Terraform中的主题配置，确保网络环境稳定后执行terraform apply，重新创建主题。

注意事项 #

• 操作前建议备份ZK中该主题的节点数据（使用get /brokers/topics/troubleSomeTopic查看并记录），避免误删重要数据。
• 旧版本Kafka的元数据清理方案不再适用，因为2.8.0版本的ZK节点结构和元数据同步逻辑已更新，需同时清理/brokers/topics和/config/topics下的对应节点。

内容的提问来源于stack exchange，提问作者Cupcake Protocol