Spring Boot在K8s+JDK11环境调用HTTPS上游服务随机报Connection reset异常
间歇HTTPS调用Connection reset问题排查与修复
核心根因判断
从堆栈特征和现象可直接定位为连接池死连接(Stale Connection)复用问题:
- 异常发生在响应头读取阶段,而非TCP建连/TLS握手阶段,说明当前请求使用的是连接池复用的长连接,而非新建连接
- 每日极低比例、随机出现的特征,完全匹配Kubernetes环境下网络中间设备的静默连接回收逻辑:
- 集群内的kube-proxy、Service负载均衡、上游网关(如Nginx/Ingress)普遍配置有60s~300s的空闲连接超时,超时后会主动关闭连接但不通知客户端
- 现有连接池未配置空闲连接检测/驱逐机制,仍将已被对端回收的连接保留在池中,复用时直接收到RST包触发报错
排查优化(解决debug日志冗余)
不需要开启全量HTTP debug日志,按以下配置即可精准定位问题:
- 仅对
org.apache.http.conn包开启DEBUG级别日志,该级别只会打印连接池的借取、归还、驱逐记录,无冗余报文内容,可直接关联报错请求对应的连接空闲时长 - 对
sun.security.ssl包仅保留INFO级别日志,不要开DEBUG,否则会产生海量TLS握手指纹日志无排查价值 - 可新增1个简单的
ClientHttpRequestInterceptor,在请求发出前打印当前连接的空闲时间(从连接池上下文提取),报错时自动输出,直接验证是否为空闲连接超时导致 - 可选验证手段:在容器内用抓包工具捕获目标443端口流量,报错时的RST包对应的连接大概率存在超过30s的无流量间隔
针对性修复方案
直接修改现有RestTemplate配置,补充以下缺失的连接池保护逻辑:
- 新增连接池空闲驱逐、生命周期限制配置,避免复用已被对端回收的连接
- 开启连接复用前的存活校验,拿到连接后先确认有效性再发请求
- 开启TCP keepalive机制,及时感知已断开的连接
- 补充幂等请求的I/O错误重试机制,兜底极小概率的漏判场景
修复后的配置示例
public static RestTemplate create(final int maxTotal, final int defaultMaxPerRoute, final int connectTimeout, final int readTimeout, final String userAgent) { final Registry<ConnectionSocketFactory> schemeRegistry = RegistryBuilder.<ConnectionSocketFactory>create() .register("http", PlainConnectionSocketFactory.getSocketFactory()) .register("https", SSLConnectionSocketFactory.getSocketFactory()) .build(); final PoolingHttpClientConnectionManager connManager = new PoolingHttpClientConnectionManager(schemeRegistry); connManager.setMaxTotal(maxTotal); connManager.setDefaultMaxPerRoute(defaultMaxPerRoute); // 新增:连接空闲超过1s后,从池中取用时先做存活校验 connManager.setValidateAfterInactivity(1000); // 新增:连接最大存活时间设为60s,短于常规上游网关的65s keepalive超时 connManager.setConnectionTimeToLive(60, TimeUnit.SECONDS); // 新增:定期驱逐空闲超过30s的无效连接 connManager.evictIdleConnections(30, TimeUnit.SECONDS); final CloseableHttpClient httpClient = HttpClients.custom() .setConnectionManager(connManager) .setUserAgent(userAgent) // 新增:开启TCP keepalive .setDefaultSocketConfig(SocketConfig.custom().setTcpKeepAlive(true).build()) .setDefaultRequestConfig(RequestConfig.custom() .setConnectTimeout(connectTimeout) .setSocketTimeout(readTimeout) .setExpectContinueEnabled(false).build()) // 新增:幂等请求的IO错误重试机制(GET请求安全) .setRetryHandler(new DefaultHttpRequestRetryHandler(3, false)) .build(); return new RestTemplateBuilder() .requestFactory(() -> new HttpComponentsClientHttpRequestFactory(httpClient)) .build(); }
补充说明:该类问题与Kubernetes环境直接相关,上述配置上线后,连接reset的报错率会降到0(或接近0的网络偶发波动水平)。之前遇到的JDK11 TLS1.3协商问题已解决,本次报错与TLS版本无关,无需额外修改JVM的TLS配置。
内容的提问来源于stack exchange,提问作者Urosh T.
相关产品推荐
相关产品推荐

