GKE环境GPU实例仅在搭载GPU时出现间歇性无法访问互联网故障

排查解决思路 #

1 基础DNS链路验证 #

• 进入故障Pod执行cat /etc/resolv.conf，确认nameserver为集群DNS服务IP（GKE默认通常为10.96.0.10），search域配置无异常
• 直接指定集群DNS地址测试解析：nslookup deb.debian.org 你的集群DNSIP
  • 若解析失败：问题出在Pod到集群DNS服务的链路
  • 若解析成功：问题出在节点本地DNS转发/缓存配置

2 排查GPU节点网络参数异常（高概率根因） #

• 登录故障GPU节点，检查反向路径过滤参数：

  sysctl net.ipv4.conf.all.rp_filter net.ipv4.conf.default.rp_filter net.ipv4.conf.eth0.rp_filter
  

  GKE GPU节点常因NVIDIA设备插件初始化时修改网络配置，将rp_filter设为严格模式（值为1），导致DNS响应路由不对称被丢弃，引发间歇性故障。临时修复执行：

  sysctl -w net.ipv4.conf.all.rp_filter=2
  

  永久修复需将该参数加入节点启动配置/节点池自定义配置。
• 检查节点连接跟踪表占用：

  sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max
  

  若nf_conntrack_count接近nf_conntrack_max，会丢弃新连接请求（含DNS查询），需调大nf_conntrack_max参数。

3 排查NodeLocalDNS/节点端口冲突 #

• 若集群开启了NodeLocalDNS，检查对应GPU节点上的node-local-dns Pod运行状态：

  kubectl get pods -n kube-system -o wide | grep node-local-dns | grep 故障GPU节点IP
  

• 检查节点53端口占用，确认无第三方进程占用DNS端口：

  ss -ulnp | grep :53
  

4 排查MTU适配问题 #

GCP VPC默认MTU为1460，若集群CNI配置MTU为1500，会导致超过MTU的UDP DNS包被丢弃，引发间歇性解析失败。验证执行：

# 进入故障Pod执行
ping -s 1472 deb.debian.org

若不通则为MTU问题，需将CNI MTU调整为1440（预留CNI封装头开销）。

临时 workaround #

若需快速恢复业务，可给GPU节点的Job Pod添加自定义DNS配置：

spec:
  dnsConfig:
    nameservers:
      - 8.8.8.8
      - 你的集群DNSIP

内容的提问来源于stack exchange，提问作者tt_c