Kafka 0.9+ZooKeeper环境下__consumer_offsets异常及消费者报错问题

Hey there! Let's break down and fix these two related issues you're hitting with Kafka 0.9—they tie into how offset storage works in this transitional version of Kafka.

问题1：__consumer_offsets主题为空 #

Kafka 0.9是首个将消费者偏移存储从ZooKeeper迁移到内部__consumer_offsets主题的版本，但这个逻辑仅在特定条件下生效：

• 你使用的是新消费者API（而非传统的SimpleConsumer或基于ZooKeeper的消费者）。
• 消费者配置了enable.auto.commit=true（默认开启），或者你正在手动提交偏移量。

如果一直使用旧版消费者工具或仍依赖ZooKeeper存储偏移的客户端，__consumer_offsets就会始终为空，因为没有偏移数据写入其中。

验证与修复步骤： #

• 用官方新消费者CLI触发偏移写入测试：

  kafka-console-consumer.sh --bootstrap-server <你的Broker公网IP>:9092 --topic <你的测试主题> --from-beginning
  

  让它运行几分钟后停止，再查看__consumer_offsets，你应该能看到里面有消息了。
• 如果你确实在使用传统消费者，那它们的偏移量会存储在ZooKeeper的/consumers节点下，而非__consumer_offsets。

问题2：Go消费者报错kafka server: Offset's topic has not yet been created #

这个错误出现的原因是你的Go Kafka客户端尝试使用基于Kafka的偏移存储，但__consumer_offsets主题不存在（或无法访问）。以下是修复方案：

1. 检查Kafka Broker配置 #

确保Broker的server.properties中开启了自动创建主题的配置（默认是开启的，但建议再次确认）：

auto.create.topics.enable=true

如果之前设为false，修改后重启Kafka Broker，这样当消费者首次尝试使用时，Kafka会自动创建__consumer_offsets。

2. 手动创建__consumer_offsets（若自动创建失败） #

如果自动创建功能异常，可以手动创建该主题，注意要配置压缩清理策略来高效管理偏移数据：

kafka-topics.sh --create --zookeeper <你的ZooKeeperIP>:2181 --topic __consumer_offsets --partitions 50 --replication-factor 1 --config cleanup.policy=compact

根据你的Broker数量调整replication-factor（生产环境建议设为3，单Broker测试环境设为1即可）。

3. 验证Go客户端配置 #

如果你使用Sarama这类库，要确保消费者配置明确指定使用Kafka存储偏移：

config := sarama.NewConfig()
// 开启自动提交（或计划手动提交偏移）
config.Consumer.Offsets.AutoCommit.Enable = true
// 显式设置偏移存储为Kafka（部分客户端在0.9环境下可能默认使用ZooKeeper）
config.Consumer.Offsets.Storage = sarama.OffsetStorageKafka

同时确认客户端指向了正确的Broker地址，且没有防火墙或网络规则阻止客户端与Kafka通信。

额外检查 #

当你用zookeeper-shell.sh ls /brokers/topics/__consumer_offsets查看时：

• 如果节点完全不存在：说明主题还未创建，按照上面的步骤2手动创建即可。
• 如果节点存在但主题为空：说明还没有偏移数据写入，按照问题1的步骤触发偏移提交即可。

内容的提问来源于stack exchange，提问作者Victor Stalin