我之前维护K8s上的Kafka集群时碰到过完全一样的问题，当时折腾了好一阵才定位到原因，分享几个亲测有效的排查方向和解决方案，你可以逐个试试：

1. 先检查Headless Service的Endpoint状态 #

Headless Service是直接通过Endpoint关联后端Pod的，一旦Endpoint不同步，就会出现Pod运行但服务连不上的情况：

• 用命令查看Service详情和对应的Endpoint：

  kubectl describe svc <your-zookeeper-headless-svc> -n <your-namespace>
  kubectl get endpoints <your-zookeeper-headless-svc> -n <your-namespace>
  

  确认Endpoint列表里的IP是不是和ZK/Kafka Pod的实际IP完全对应，有没有缺失或者错误的条目。
• 如果Endpoint异常，先尝试重启kube-proxy组件，强制刷新路由规则：

  kubectl rollout restart daemonset kube-proxy -n kube-system
  

  要是还不行，可以删除并重新创建Headless Service（记得备份好Service的yaml配置）。

2. 排查Pod内部的DNS解析问题 #

很多时候连接失败本质是域名解析出了问题：

• 进入任意一个ZK或Kafka Pod，执行DNS解析测试：

  kubectl exec -it <your-zk-pod-name> -n <your-namespace> -- nslookup <headless-svc-name>.<your-namespace>.svc.cluster.local
  

  要是解析不到正确的Pod IP列表，说明CoreDNS可能出问题了。
• 检查CoreDNS的运行状态和日志：

  kubectl get pods -n kube-system -l k8s-app=kube-dns
  kubectl logs <coredns-pod-name> -n kube-system
  

  发现异常的话，重启CoreDNS Pod通常能解决大部分DNS解析问题：

  kubectl delete pods -n kube-system -l k8s-app=kube-dns
  

3. 检查网络策略或防火墙规则 #

新增的NetworkPolicy或者节点防火墙规则可能误拦截了Pod间的通信：

• 确认当前Namespace下有没有限制ZK/Kafka通信的NetworkPolicy：

  kubectl get networkpolicies -n <your-namespace>
  

  如果有可疑的策略，可以临时删除它测试是否恢复正常。
• 登录运行Pod的节点，检查iptables规则是否有拦截流量的条目：

  iptables-save | grep <pod-ip>
  iptables-save | grep <headless-svc-name>
  

  发现异常规则可以临时清理（注意操作前备份规则）。

4. 检查节点网络状态 #

节点网络波动也会导致Pod和Service之间的通信中断：

• 查看集群节点状态，确认运行ZK/Kafka Pod的节点是否处于Ready状态：

  kubectl get nodes
  

• 进入异常节点，检查网卡状态、路由表和节点间的连通性，比如用ping测试其他节点的IP，或者用traceroute跟踪到Pod IP的路径。
• 如果节点确实有网络问题，可以删除当前的ZK/Kafka Pod，让调度器把Pod重新调度到正常的节点上。

5. 验证ZK/Kafka的配置正确性 #

有时候配置错误会导致服务无法正确关联Headless Service：

• 检查ZK的zoo.cfg配置，确认server.x的地址是不是使用了Headless Service的域名；检查Kafka的server.properties，确认zookeeper.connect配置的是ZK Headless Service的正确地址和端口。
• 进入Pod查看/etc/hosts文件，确认有没有被注入错误的DNS记录：

  kubectl exec -it <your-zk-pod-name> -n <your-namespace> -- cat /etc/hosts
  

如果上面的方法都没解决问题，可以补充提供Headless Service的yaml配置、ZK/Kafka的完整日志等信息，方便进一步排查。

内容的提问来源于stack exchange，提问作者giangnt15