Kubernetes部署Confluent Kafka集群外部连接超时问题求助

核心问题拆解 #

你的场景里：

• 集群内部操作正常 → Kafka集群本身无故障
• 外部能通bootstrap地址、kcat能获取元数据 → bootstrap的LB配置没问题
• 主题操作/消费超时、连broker后传输失败 → 外部客户端拿到broker的元数据地址后，无法和实际的broker节点建立数据连接

具体排查修复步骤 #

1. 检查所有Broker的advertised.listeners配置 #

你只贴了broker0的配置，必须确认每个broker的EXTERNAL地址对应各自的域名：

• broker0：EXTERNAL://b0.my.domain.com:9092
• broker1：EXTERNAL://b1.my.domain.com:9092
• broker2：EXTERNAL://b2.my.domain.com:9092
  如果所有broker都用了b0的地址，客户端拿到元数据后只会连b0，而其他broker的数据根本访问不到，直接超时。

2. 验证单个Broker的LoadBalancer服务 #

每个bN.my.domain.com对应的LB必须绑定到单个Kafka Pod：

• 执行kubectl describe service <b0-lb-service-name> -n confluent，查看Endpoints是否只指向broker0的Pod IP和9092端口
• 确认LB的外部IP和DNS解析的1.2.3.4/5/6完全一致
• 检查LB的健康检查规则，确保9092端口能被正常探测（不健康的LB会直接丢弃流量）

3. 测试外部到每个Broker地址的连通性 #

别只测bootstrap地址，单独测试每个broker的外部地址：

nc -zv b0.my.domain.com 9092
nc -zv b1.my.domain.com 9092
nc -zv b2.my.domain.com 9092

如果某个地址不通，排查：

• 云厂商安全组/集群防火墙是否开放该LB的9092端口给外部VM的IP段
• 集群网络策略是否禁止了外部到该broker Pod的9092端口访问

4. 客户端连接参数补全 #

外部客户端要明确指定与EXTERNAL listener匹配的安全协议（你的配置是PLAINTEXT），命令里补充参数：

./bin/kafka-topics.sh --list --bootstrap-server kafka.my.domain.com:9092 --security-protocol PLAINTEXT

或者在客户端配置文件中添加：

security.protocol=PLAINTEXT

5. 排除Kraft Controller的影响（可选） #

你的Controller用的是内部地址，这没问题，但可以确认下Controller集群状态正常，避免集群状态异常导致外部请求失败：

kubectl get pods -n confluent -l app=kraftcontroller

总结 #

大概率是某个Broker的advertised.listeners配置错误，或者对应Broker的LB服务/网络规则没配对，导致客户端无法连接到存储数据的节点。按上面的步骤逐一排查就能解决。

内容的提问来源于stack exchange，提问作者Volantis