You need to enable JavaScript to run this app. K3s集群同节点同命名空间Pod通过Service访问失败,排查CoreDNS无果
优惠活动
大模型
产品
解决方案
定价
更多

K3s集群同节点同命名空间Pod通过Service访问失败,排查CoreDNS无果

K3s 集群Pod跨Service通信故障排查记录

基础环境与资源配置

单节点树莓派部署K3s v1.18.9,所有待通信Pod均调度在同一master节点、属于同一命名空间,已为对应工作负载配置ClusterIP类型Service,资源信息如下:

$ kubectl get pods -o wide
NAME                         READY   STATUS    RESTARTS   AGE    IP           NODE          NOMINATED NODE   READINESS GATES
nginx-744f4df6df-rxhph       1/1     Running   0          136m   10.42.0.31   raspberrypi   <none>           <none>
nginx-2-867f4f8859-csn48     1/1     Running   0          134m   10.42.0.32   raspberrypi   <none>           <none>

$ kubectl get svc -o wide
NAME             TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE    SELECTOR
nginx-service    ClusterIP   10.43.155.201   <none>        80/TCP                       136m   app=nginx
nginx-service2   ClusterIP   10.43.182.138   <none>        85/TCP                       134m   app=nginx-2

故障复现现象

同配置集群在Docker Desktop环境下运行完全正常,但在K3s环境下双向Service访问均失败:

  • Docker Desktop环境下,从Pod内执行curl http://nginx-service2:85可正常返回Nginx默认欢迎页
  • K3s环境下,从Pod内执行带命名空间后缀的访问命令直接报错:
    root@nginx-744f4df6df-rxhph:/# curl http://nginx-service2.pwk3spi-vraptor:85
    curl: (6) Could not resolve host: nginx-service2.pwk3spi-vraptor
    

排查CoreDNS Pod日志发现大量上游DNS转发超时错误:

$ kubectl logs coredns-7944c66d8d-gkdp4 -n kube-system
.:53
[INFO] plugin/reload: Running configuration MD5 = 1c648f07b77ab1530deca4234afe0d03
CoreDNS-1.6.9
linux/arm, go1.14.1, 1766568
[ERROR] plugin/errors: 2 1898797220.1916943194. HINFO: read udp 10.42.0.38:50482->192.168.8.109:53: i/o timeout
[ERROR] plugin/errors: 2 1898797220.1916943194. HINFO: read udp 10.42.0.38:34160->192.168.8.109:53: i/o timeout
[ERROR] plugin/errors: 2 1898797220.1916943194. HINFO: read udp 10.42.0.38:53485->192.168.8.109:53: i/o timeout
(剩余超时日志格式一致,均为CoreDNS Pod 10.42.0.38向192.168.8.109:53发起UDP请求超时)

已尝试但未生效的操作

  • 修改CoreDNS ConfigMap的CoreFile配置,将转发规则指向master节点IP
  • 修改宿主机/etc/resolv.conf,将CoreDNS的Pod IP作为优先nameserver写入
    以上操作完成后,DNS解析失败、Service访问不通的问题依然存在。

参考环境信息

$ kubectl get nodes -o wide
NAME          STATUS   ROLES    AGE    VERSION        INTERNAL-IP     EXTERNAL-IP   OS-IMAGE                         KERNEL-VERSION   CONTAINER-RUNTIME
raspberrypi   Ready    master   153d   v1.18.9+k3s1   192.168.8.109   <none>        Raspbian GNU/Linux 10 (buster)   5.10.9-v7l+      containerd://1.3.3-k3s2

$ kubectl get svc -n kube-system -o wide
NAME                 TYPE           CLUSTER-IP      EXTERNAL-IP     PORT(S)                      AGE    SELECTOR
kube-dns             ClusterIP      10.43.0.10      <none>          53/UDP,53/TCP,9153/TCP       153d   k8s-app=kube-dns
metrics-server       ClusterIP      10.43.205.8     <none>          443/TCP                      153d   k8s-app=metrics-server
traefik-prometheus   ClusterIP      10.43.222.138   <none>          9100/TCP                     153d   app=traefik,release=traefik
traefik              LoadBalancer   10.43.249.133   192.168.8.109   80:31222/TCP,443:32509/TCP   153d   app=traefik,release=traefik

$ kubectl get ep kube-dns -n kube-system
NAME       ENDPOINTS                                     AGE
kube-dns   10.42.0.38:53,10.42.0.38:9153,10.42.0.38:53   153d

可行排查与解决路径

  • 首先定位CoreDNS超时的根因:
    • 检查宿主机防火墙/iptables规则,确认是否存在拦截10.42.0.0/24 CNI网段访问宿主机53端口的规则。Raspbian默认的安全规则经常会丢弃网桥转发的UDP流量,直接导致CoreDNS发出的上游DNS请求被丢弃,产生全量超时。
    • 确认宿主机192.168.8.109地址上是否真的有DNS服务在监听53端口。大多数情况下宿主机本身没有跑本地DNS服务,直接把转发规则指向自身IP必然会超时。
    • 注意:不要把CoreDNS的Pod IP写入宿主机/etc/resolv.conf当nameserver——Pod IP是动态分配的,重启后就会变化,这种配置没有长期生效的可能。
  • 修复DNS转发链路:
    • 不需要强行在宿主机跑DNS服务,直接把CoreDNS的forward规则指向局域网内实际可达的可用DNS地址(比如路由器地址192.168.8.1,或其他无访问限制的公共DNS地址)。
    • 检查Pod内的/etc/resolv.conf配置,确认nameserver条目指向kube-dns的稳定ClusterIP(10.43.0.10),而不是动态变化的CoreDNS Pod IP。如果之前手动修改配置导致kubelet下发的resolv.conf异常,需要重置K3s的kubelet配置恢复默认生成规则。
  • 最终连通性验证:
    • 从Pod内直接访问kube-dns的53端口,确认网络层连通
    • 执行域名解析命令验证Service域名可以返回正确的ClusterIP
    • 重新测试双向curl Service地址,确认通信恢复正常

内容的提问来源于stack exchange,提问作者Paul

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.31 23:54:03