K8s单个Worker节点大量报TLS握手错误:远程tls: bad certificate问题排查
报错核心含义
该报错是Worker节点上的kubelet HTTPS服务(默认监听10250端口)返回的校验失败提示:当服务端接收到客户端的TLS握手请求时,发现客户端提交的证书不在自身信任链范围内,或未提交任何有效客户端证书,就会直接中断连接并打出这条日志。
你观察到的“集群业务完全正常”是符合这个报错特性的:所有被拒绝的连接都是无效请求,根本不参与集群调度、业务转发、控制面交互的正常流程,自然不会影响容器运行。而报错源IP属于cni0网段,说明发起这些无效请求的客户端就是运行在当前节点上的某个Pod,并非外部流量或跨节点流量;仅单节点出现报错,本质是那个配置异常的Pod刚好被调度到了这台机器上。
两个证书路径的排查边界
- /etc/kubernetes/pki 是集群控制面节点存储核心根CA、apiserver、etcd证书的专属路径,Worker节点本身不会存储这套全量控制面证书,你的报错和这个路径下的文件完全无关,不需要投入精力排查。
- /var/lib/kubelet/pki 是当前Worker节点kubelet的专属证书存储目录,存放kubelet对外提供HTTPS服务的服务端证书、以及kubelet作为客户端连接apiserver的客户端证书,这才是需要校验证书状态的路径。
分步修复操作
- 定位异常请求来源
从/var/log/syslog中提取完整的报错源IP,在该Worker节点上执行ip route get <报错源IP>,系统会直接返回对应流量关联的veth网卡标识,顺着网卡标识就能找到对应的Pod,排查Pod内部是否存在硬编码访问本节点kubelet端口的逻辑,且没有配置经集群CA签发的合法客户端证书。 - 校验kubelet本地证书状态
进入/var/lib/kubelet/pki目录,检查两个核心证书文件的状态:- 查看
kubelet-client-current.pem、kubelet.cert的有效期,确认没有出现证书轮转失败、过期失效的问题 - 检查文件权限属主是否为
root:root,权限位是否为600,避免因为权限错乱导致kubelet无法正常加载证书、出现信任链断裂
- 查看
- 问题闭环
如果定位到是业务或监控Pod的配置错误,直接修正其访问kubelet的逻辑,替换为集群签发的合法客户端证书,让连接能正常通过校验即可;
如果是无意义的扫描、误触发流量,可以直接在节点本地防火墙加规则,仅允许集群指定的控制面、监控IP段访问kubelet的10250端口,过滤掉Pod网段内的无效访问,即可消除持续刷出的报错日志。
内容的提问来源于stack exchange,提问作者Kendall Chenoweth
相关产品推荐
相关产品推荐

