You need to enable JavaScript to run this app. K8s环境TiDB集群扩缩StatefulSet后新增Pod Readiness检测失败,PD连接超时
优惠活动
大模型
产品
解决方案
定价
更多

K8s环境TiDB集群扩缩StatefulSet后新增Pod Readiness检测失败,PD连接超时

问题基本场景
  • 基于K8s长期运行的TiDB集群此前状态稳定,对tidb-tidb对应的StatefulSet执行扩缩操作后,仅新增Pod tidb-tidb-1出现运行异常
  • 同StatefulSet下的tidb-tidb-2、集群内全部PD、TiKV Pod运行均无异常
  • 跨Pod网络探测结果:除异常Pod外,其余所有集群内Pod均可正常访问PD服务,仅tidb-tidb-1内部无法连通PD服务地址
异常Pod日志特征
[2021/04/11 16:15:44.526 +00:00] [WARN] [base_client.go:180] ["[pd] failed to get cluster id"]
[2021/04/11 16:15:48.527 +00:00] [WARN] [base_client.go:180] ["[pd] failed to get cluster id"] [error="[PD:client:ErrClientGetMember]error:rpc error: code = DeadlineExceeded desc = latest connection error: connection error: desc = \"transport: Error while dialing dial tcp: i/o timeout\" target:test-tidb-pd:2379 status:CONNECTING"]

日志核心为PD客户端拨号超时,无法和PD服务建立gRPC连接,属于典型的Pod到服务的网络连通性异常,和TiDB本身的业务逻辑无关

排查步骤与对应解决方案
  • 优先排查K8s NetworkPolicy拦截问题
    • 很多集群出于安全考虑会配置NetworkPolicy限制PD服务的访问源,如果扩缩前的放行规则仅匹配旧TiDB Pod的标签、或固定了旧Pod的IP段,新增Pod很可能因为未被纳入放行范围被直接拦截,表现就是TCP连接超时
    • 可在异常Pod内执行连通性校验命令:nc -zv test-tidb-pd 2379,和同节点正常Pod的连通结果做对比,能快速排除应用层逻辑问题
  • 其次排查节点层面的转发规则异常
    • kube-proxy维护的iptables/IPVS规则如果存在残留,很可能在新Pod上线时没有正确生成对应的转发条目,甚至存在历史遗留的DROP规则命中新Pod的源IP,导致出站流量被直接丢包
    • 可登录异常Pod所在的节点,执行iptables -L -n | grep <异常Pod的IP地址> 直接定位拦截条目,同时检查节点上到PD服务ClusterIP的路由表,确认没有路由指向错误的网卡
  • 最后处理Pod自身网络栈异常
    • 如果前面两步都没有定位到问题,直接删除tidb-tidb-1触发StatefulSet重建即可。新Pod在分配网络命名空间时偶发的配置损坏问题,会在重建过程中被重新初始化,能解决大部分偶发的网络栈故障
    • 重建后需在Pod内执行nslookup test-tidb-pd,对比集群内正常Pod的解析结果,确认不存在DNS缓存污染、域名解析到废弃IP的情况,避免再次出现连接超时

内容的提问来源于stack exchange,提问作者Taybur Rahman

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.25 11:36:04