EKS从1.21迁移到1.23后多数服务频繁报KubeClient断开错误的求解

错误含义 #

这两条日志说明你的服务内置的KubeClient（Kubernetes客户端）和EKS控制平面的连接意外中断，正在尝试重新建立连接。其中的watcher是客户端里负责监听K8s资源变化的组件，连接断了之后它会按100ms的间隔重试连接。

可能原因及解决办法 #

• 控制平面负载过高：EKS 1.23对比1.21有不少组件更新，迁移后控制平面可能因为资源不足或者突发请求量过高，导致连接不稳定。去EKS控制台查看控制平面的CPU、内存使用率，还有API请求QPS指标，要是资源不够就升级控制平面的实例规格；另外清理掉没用的自定义资源，减少不必要的API请求频率。
• 客户端版本不兼容：如果你的服务用的Kubernetes客户端SDK（比如client-go）版本和EKS 1.23不匹配，容易出现协议握手或者连接逻辑的兼容性问题。建议把客户端SDK升级到和EKS 1.23对应的版本，一般推荐客户端版本比服务器低一个小版本，比如用v0.23.x的client-go配合EKS 1.23。
• 网络配置异常：迁移过程中可能改动了VPC安全组、NACL规则，或者VPC端点出了问题，导致服务和控制平面的网络连接不稳定。检查安全组是否允许服务所在节点/ Pod访问控制平面的6443端口；看看VPC端点的状态，有没有丢包、延迟过高的情况；另外排查节点的网络状态，是不是有波动。
• 客户端连接参数不合理：有些服务的KubeClient可能设置了过短的超时时间，或者重试策略配置得有问题，导致稍微有点网络波动就断连。调整客户端的连接超时、重试次数和间隔参数，让它在网络短暂不稳定时能稳定重连。
• 控制平面组件更新不彻底：迁移时可能存在etcd、kube-apiserver等控制平面组件更新不完全的情况，导致临时的连接问题。去EKS控制台确认控制平面所有组件都处于正常运行状态，如果有异常，通过AWS CLI或者控制台操作重启控制平面。

内容的提问来源于stack exchange，提问作者user6826691