K8s集群API调用：多数Connection Refused少数ConnectionTimeout原因排查

以下是结合Kubernetes集群特性与网络协议逻辑的核心原因：

• Service端点更新存在时间窗口
  当目标API的Pod宕机后，Kubernetes的Endpoint Controller需要将该Pod从Service端点列表移除，同时更新节点上的iptables/IPVS规则。在更新完成前，仍有部分请求会被转发到已宕机Pod的IP上。如果此时Pod的网络命名空间未完全销毁、网络规则未及时同步，客户端发送的SYN包无法得到响应（既无SYN-ACK也无RST），就会触发连接超时，而非立即返回Connection Refused。

• 高并发下节点网络资源耗尽
  500线程的并发请求会快速消耗发起请求的API所在节点的网络资源：比如本地临时端口耗尽、TCP连接队列被占满。当节点资源不足时，操作系统无法及时向客户端返回RST包（这是Connection Refused的触发条件），导致客户端连接请求一直处于等待状态，直到达到超时阈值。

• CNI插件的网络规则同步延迟
  Kubernetes集群的容器网络插件（如Calico、Flannel）在Pod销毁后，需要同步更新路由、网络策略等配置。如果同步过程有延迟，部分请求的数据包可能在网络中“迷路”，既无法到达已不存在的Pod，也无法被及时丢弃，最终导致客户端等待超时。

• TCP协议的SYN重试机制
  客户端TCP栈发送SYN包后，若未收到响应，会按照操作系统默认参数（如net.ipv4.tcp_syn_retries）自动重试发送SYN。在重试周期内，即使目标已完全销毁，客户端也不会立即返回超时，直到所有重试尝试完成后才会触发ConnectionTimeoutException。

若要减少这类超时情况，可尝试：缩短Kubernetes端点刷新周期、调整客户端TCP重试参数、控制并发请求速率避免节点资源耗尽。

内容的提问来源于stack exchange，提问作者Bharath Karnam