K8s环境TiDB集群扩缩StatefulSet后新增Pod Readiness检测失败,PD连接超时
问题基本场景
- 基于K8s长期运行的TiDB集群此前状态稳定,对
tidb-tidb对应的StatefulSet执行扩缩操作后,仅新增Podtidb-tidb-1出现运行异常 - 同StatefulSet下的
tidb-tidb-2、集群内全部PD、TiKV Pod运行均无异常 - 跨Pod网络探测结果:除异常Pod外,其余所有集群内Pod均可正常访问PD服务,仅
tidb-tidb-1内部无法连通PD服务地址
异常Pod日志特征
[2021/04/11 16:15:44.526 +00:00] [WARN] [base_client.go:180] ["[pd] failed to get cluster id"] [2021/04/11 16:15:48.527 +00:00] [WARN] [base_client.go:180] ["[pd] failed to get cluster id"] [error="[PD:client:ErrClientGetMember]error:rpc error: code = DeadlineExceeded desc = latest connection error: connection error: desc = \"transport: Error while dialing dial tcp: i/o timeout\" target:test-tidb-pd:2379 status:CONNECTING"]
日志核心为PD客户端拨号超时,无法和PD服务建立gRPC连接,属于典型的Pod到服务的网络连通性异常,和TiDB本身的业务逻辑无关
排查步骤与对应解决方案
- 优先排查K8s NetworkPolicy拦截问题
- 很多集群出于安全考虑会配置NetworkPolicy限制PD服务的访问源,如果扩缩前的放行规则仅匹配旧TiDB Pod的标签、或固定了旧Pod的IP段,新增Pod很可能因为未被纳入放行范围被直接拦截,表现就是TCP连接超时
- 可在异常Pod内执行连通性校验命令:
nc -zv test-tidb-pd 2379,和同节点正常Pod的连通结果做对比,能快速排除应用层逻辑问题
- 其次排查节点层面的转发规则异常
- kube-proxy维护的iptables/IPVS规则如果存在残留,很可能在新Pod上线时没有正确生成对应的转发条目,甚至存在历史遗留的DROP规则命中新Pod的源IP,导致出站流量被直接丢包
- 可登录异常Pod所在的节点,执行
iptables -L -n | grep <异常Pod的IP地址>直接定位拦截条目,同时检查节点上到PD服务ClusterIP的路由表,确认没有路由指向错误的网卡
- 最后处理Pod自身网络栈异常
- 如果前面两步都没有定位到问题,直接删除
tidb-tidb-1触发StatefulSet重建即可。新Pod在分配网络命名空间时偶发的配置损坏问题,会在重建过程中被重新初始化,能解决大部分偶发的网络栈故障 - 重建后需在Pod内执行
nslookup test-tidb-pd,对比集群内正常Pod的解析结果,确认不存在DNS缓存污染、域名解析到废弃IP的情况,避免再次出现连接超时
- 如果前面两步都没有定位到问题,直接删除
内容的提问来源于stack exchange,提问作者Taybur Rahman
相关产品推荐
相关产品推荐

