Kubecon Seattle 2018 GitOps教程第5步podinfo Pod不可见排查
根因结论
所有故障的共同源头是集群内CoreDNS服务完全不可用,不存在多个独立的连接被拒绝问题。
故障传导链路
- 日志第一条报错指向集群DNS服务地址
10.96.0.10:53连接被拒,说明没有正常运行的Pod提供DNS解析服务,CoreDNS已经处于异常状态。 - 后续所有报错都是DNS失效的衍生结果:
- Flux需要通过SRV记录
_memcached._tcp.memcached发现集群内的memcached服务,DNS失效后服务发现直接报错 - Flux克隆Git仓库时需要将
github.com解析为可达IP,DNS失效后域名无法解析,Git克隆直接失败
- Flux需要通过SRV记录
- podinfo未生成的原因:Flux需要先拉取包含podinfo部署清单的Git仓库才能执行资源同步,克隆失败后无法读取到目标配置,自然不会创建podinfo相关资源。
修复验证步骤
- 执行
kubectl get pods -n kube-system检查CoreDNS副本状态,正常应为2个Running的CoreDNS Pod,若处于停止、崩溃循环、未调度状态,优先排查修复CoreDNS异常。 - 常见CoreDNS异常原因包括:节点网络不通、CoreDNS镜像拉取失败、核心配置错误。
- CoreDNS恢复正常后,Flux会自动重试Git仓库克隆流程,同步完成后podinfo会自动部署到集群中。
补充:日志中出现的所有连接拒绝、域名解析失败、镜像拉取超时,都是CoreDNS失效的连锁表现,不是独立故障点。
内容的提问来源于stack exchange,提问作者user14476065
相关产品推荐
相关产品推荐

