单节点Kafka集群S3 Connector消费失败：Coordinator不可用

你遇到的问题核心是消费者组协调器无法正常工作，而非目标业务主题的配置问题。虽然你已经确认了业务主题202208.topic.test的副本数为1，但Kafka消费者组的协调器依赖于内部主题__consumer_offsets，这个主题的配置才是关键。

关键排查步骤： #

1. 检查内部主题__consumer_offsets的副本配置 #

执行以下命令查看该主题的详细信息：

./kafka-topics.sh --describe --zookeeper broker:2181 --topic __consumer_offsets

如果该主题的ReplicationFactor为3（默认值），在单节点集群中，Kafka无法满足副本同步要求（ISR集合无法达到最小可用数量），导致协调器无法正常选举，进而出现"The coordinator is not available"错误。

2. 修正__consumer_offsets主题配置 #

情况一：__consumer_offsets尚未创建（或集群刚初始化）

在Kafka broker的配置文件（如server.properties）中添加或修改以下参数：

offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

保存配置后重启Kafka broker，Kafka会自动以正确的副本数创建内部主题。

情况二：__consumer_offsets已存在但副本数为3

通过kafka-configs.sh修改主题配置：

./kafka-configs.sh --zookeeper broker:2181 --alter --entity-type topics --entity-name __consumer_offsets --add-config replication.factor=1

修改后需要等待主题副本同步完成，可再次用kafka-topics.sh确认Isr集合包含节点1。

3. 验证消费者组状态 #

执行以下命令查看Connector对应的消费者组connect-s3-sink的状态：

./kafka-consumer-groups.sh --describe --bootstrap-server broker:9092 --group connect-s3-sink

如果协调器正常工作，输出中会显示Coordinator: broker:9092 (id: 1 rack: null)，此时再重启S3 Connector即可正常消费。

4. 额外检查点 #

• 确认Connector配置中的bootstrap.servers正确指向单节点Kafka（broker:9092），无拼写错误。
• 确保Kafka broker和Connector所在网络互通，无防火墙或端口限制。

内容的提问来源于stack exchange，提问作者Jin Ma