EKS 1.21集群偶发DNS请求超时 无法解析RDS、GitHub等域名问题问询

• 节点层面网络丢包排查
  在异常Pod所在节点执行tcpdump -i any udp port 53 and host <异常PodIP>，确认DNS请求是否成功发往CoreDNS、是否收到回包：
  • 若请求未发出，检查Calico网络策略是否有误拦截规则
  • 若只有请求无回包，检查节点安全组、网络ACL是否放通UDP 53端口的出入向规则
  • 执行sysctl net.netfilter.nf_conntrack_count和sysctl net.netfilter.nf_conntrack_max，确认连接跟踪表是否占满，若占满需调大nf_conntrack_max参数
• CoreDNS配置与性能排查
  • 执行kubectl top pod -n kube-system | grep coredns查看CoreDNS资源使用率，若CPU/内存接近配置阈值，需调大resources参数，同时根据集群规模扩容CoreDNS副本数，建议开启CoreDNS自动扩缩容
  • 检查CoreDNS的forward配置是否正确指向VPC DNS，可临时替换为公共DNS测试，确认是否为VPC DNS本身波动导致的问题
• ndots冗余请求排查
  当前Pod的ndots:5配置会导致点数量少于5的域名优先拼接搜索域后缀发起多次无效请求，极易触发DNS限流或超时：
  • 对无需解析集群内部服务的业务Pod，在spec.dnsConfig中将ndots调整为2，大幅减少无效DNS请求
• 节点AMI与内核问题排查
  你使用的2021年版本的EKS 1.21 AMI存在多个已修复的conntrack相关内核bug，可能导致UDP包被错误丢弃：
  • 可先将少量异常节点升级到对应EKS版本的最新官方AMI，验证问题是否复现
• 业务侧DNS参数优化
  可给业务Pod添加dnsConfig配置，降低单次超时阈值、增加重试次数，缓解偶发超时影响：

  dnsConfig:
    options:
      - name: timeout
        value: "2"
      - name: attempts
        value: "3"
  

内容的提问来源于stack exchange，提问作者ELIZABETHHHHHH