Apache Kafka Kraft连接异常求助：API_VERSIONS请求被取消

一、核心错误对应问题分析 #

• 生产者「Cancelled in-flight API_VERSIONS request」+节点断开：大概率是客户端与Broker间网络连通性异常，或Broker节点未正常启动/稳定运行。
• 消费者「组协调器不可用」：说明消费者无法连接到负责组协调的Broker，本质是Broker集群状态异常，或客户端配置的bootstrap.servers不正确。

二、Docker Compose配置排查要点 #

重点检查以下关键配置项：

• KAFKA_LISTENERS与KAFKA_ADVERTISED_LISTENERS：两者必须匹配，且需包含外部可访问的地址（如PLAINTEXT://localhost:9094），不能仅配置容器内部hostname，否则外部客户端无法正常连接。
• KAFKA_PROCESS_ROLES：明确指定节点角色为controller、broker或controller,broker（单节点场景），多节点集群需确保至少有一个controller节点。
• KAFKA_CONTROLLER_QUORUM_VOTERS：多节点集群需正确配置所有controller节点信息，格式为id@host:port（如1@kafka1:9093,2@kafka2:9093），否则会导致controller选举失败。
• 端口映射：确认容器端口与主机端口映射无冲突，比如容器内用于外部访问的端口需正确映射到主机对应端口。

三、生产者代码配置排查 #

• bootstrap.servers参数：需配置正确的主机端口（如localhost:9094,localhost:9096），且这些端口已在Docker Compose中完成映射。
• 超时参数：检查request.timeout.ms、metadata.max.age.ms等参数，若超时时间过短，会导致API_VERSIONS请求被提前取消。
• 安全配置：若Kafka开启SSL等认证机制，客户端需同步配置对应安全参数，否则会因认证失败触发连接断开。

四、日志分析重点 #

从提供的完整日志中聚焦以下内容：

• Broker启动日志：是否存在Controller quorum not available等controller选举失败、节点无法加入集群的错误。
• 生产者日志：除API_VERSIONS请求取消外，是否有Connection refused或Timeout类具体错误，直接定位网络问题。
• 消费者日志：是否有Failed to find coordinator的详细原因，如Broker地址解析失败、网络不通等。

五、快速验证步骤 #

1. 单独启动Kafka集群，使用kafka-topics.sh创建测试Topic，验证Broker集群是否正常运行。
2. 使用官方工具kafka-console-producer.sh和kafka-console-consumer.sh测试生产消费，排除自定义代码的问题。
3. 通过docker ps确认所有Kafka容器状态正常，用docker logs <container-id>查看单个节点实时日志，排查节点内部报错。

内容的提问来源于stack exchange，提问作者elenwen