K3s集群同节点同命名空间Pod通过Service访问失败,排查CoreDNS无果
K3s 集群Pod跨Service通信故障排查记录
基础环境与资源配置
单节点树莓派部署K3s v1.18.9,所有待通信Pod均调度在同一master节点、属于同一命名空间,已为对应工作负载配置ClusterIP类型Service,资源信息如下:
$ kubectl get pods -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginx-744f4df6df-rxhph 1/1 Running 0 136m 10.42.0.31 raspberrypi <none> <none> nginx-2-867f4f8859-csn48 1/1 Running 0 134m 10.42.0.32 raspberrypi <none> <none> $ kubectl get svc -o wide NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR nginx-service ClusterIP 10.43.155.201 <none> 80/TCP 136m app=nginx nginx-service2 ClusterIP 10.43.182.138 <none> 85/TCP 134m app=nginx-2
故障复现现象
同配置集群在Docker Desktop环境下运行完全正常,但在K3s环境下双向Service访问均失败:
- Docker Desktop环境下,从Pod内执行
curl http://nginx-service2:85可正常返回Nginx默认欢迎页 - K3s环境下,从Pod内执行带命名空间后缀的访问命令直接报错:
root@nginx-744f4df6df-rxhph:/# curl http://nginx-service2.pwk3spi-vraptor:85 curl: (6) Could not resolve host: nginx-service2.pwk3spi-vraptor
排查CoreDNS Pod日志发现大量上游DNS转发超时错误:
$ kubectl logs coredns-7944c66d8d-gkdp4 -n kube-system .:53 [INFO] plugin/reload: Running configuration MD5 = 1c648f07b77ab1530deca4234afe0d03 CoreDNS-1.6.9 linux/arm, go1.14.1, 1766568 [ERROR] plugin/errors: 2 1898797220.1916943194. HINFO: read udp 10.42.0.38:50482->192.168.8.109:53: i/o timeout [ERROR] plugin/errors: 2 1898797220.1916943194. HINFO: read udp 10.42.0.38:34160->192.168.8.109:53: i/o timeout [ERROR] plugin/errors: 2 1898797220.1916943194. HINFO: read udp 10.42.0.38:53485->192.168.8.109:53: i/o timeout (剩余超时日志格式一致,均为CoreDNS Pod 10.42.0.38向192.168.8.109:53发起UDP请求超时)
已尝试但未生效的操作
- 修改CoreDNS ConfigMap的CoreFile配置,将转发规则指向master节点IP
- 修改宿主机
/etc/resolv.conf,将CoreDNS的Pod IP作为优先nameserver写入
以上操作完成后,DNS解析失败、Service访问不通的问题依然存在。
参考环境信息
$ kubectl get nodes -o wide NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME raspberrypi Ready master 153d v1.18.9+k3s1 192.168.8.109 <none> Raspbian GNU/Linux 10 (buster) 5.10.9-v7l+ containerd://1.3.3-k3s2 $ kubectl get svc -n kube-system -o wide NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR kube-dns ClusterIP 10.43.0.10 <none> 53/UDP,53/TCP,9153/TCP 153d k8s-app=kube-dns metrics-server ClusterIP 10.43.205.8 <none> 443/TCP 153d k8s-app=metrics-server traefik-prometheus ClusterIP 10.43.222.138 <none> 9100/TCP 153d app=traefik,release=traefik traefik LoadBalancer 10.43.249.133 192.168.8.109 80:31222/TCP,443:32509/TCP 153d app=traefik,release=traefik $ kubectl get ep kube-dns -n kube-system NAME ENDPOINTS AGE kube-dns 10.42.0.38:53,10.42.0.38:9153,10.42.0.38:53 153d
可行排查与解决路径
- 首先定位CoreDNS超时的根因:
- 检查宿主机防火墙/iptables规则,确认是否存在拦截10.42.0.0/24 CNI网段访问宿主机53端口的规则。Raspbian默认的安全规则经常会丢弃网桥转发的UDP流量,直接导致CoreDNS发出的上游DNS请求被丢弃,产生全量超时。
- 确认宿主机192.168.8.109地址上是否真的有DNS服务在监听53端口。大多数情况下宿主机本身没有跑本地DNS服务,直接把转发规则指向自身IP必然会超时。
- 注意:不要把CoreDNS的Pod IP写入宿主机
/etc/resolv.conf当nameserver——Pod IP是动态分配的,重启后就会变化,这种配置没有长期生效的可能。
- 修复DNS转发链路:
- 不需要强行在宿主机跑DNS服务,直接把CoreDNS的forward规则指向局域网内实际可达的可用DNS地址(比如路由器地址192.168.8.1,或其他无访问限制的公共DNS地址)。
- 检查Pod内的
/etc/resolv.conf配置,确认nameserver条目指向kube-dns的稳定ClusterIP(10.43.0.10),而不是动态变化的CoreDNS Pod IP。如果之前手动修改配置导致kubelet下发的resolv.conf异常,需要重置K3s的kubelet配置恢复默认生成规则。
- 最终连通性验证:
- 从Pod内直接访问kube-dns的53端口,确认网络层连通
- 执行域名解析命令验证Service域名可以返回正确的ClusterIP
- 重新测试双向curl Service地址,确认通信恢复正常
内容的提问来源于stack exchange,提问作者Paul
相关产品推荐
相关产品推荐

