Apache HttpClient访问404资源偶发SocketTimeout异常问题咨询

你提供的配置代码如下：

RequestConfig config = RequestConfig.custom()
                   .setSocketTimeout(10000)
                   .setConnectTimeout(5000)
                   .setRedirectsEnabled(true)
                   .setMaxRedirects(3)
                   .setStaleConnectionCheckEnabled(false)
                   .setProxyPreferredAuthSchemes(Arrays.asList(AuthSchemes.BASIC))
                   .build();

Future<HttpResponse> httpResponseFuture = asyncCloseableHttpClient.execute(httpUriRequest, null);
       try {
           return httpResponseFuture.get();
       } catch (ExecutionException e) {
           Throwable cause = e.getCause() != null ? e.getCause() : e;
         
           if (cause instanceof ConnectException) {

               throw new DownloadConnectionException("ConnectionException " + cause, IMAGE_DOWNLOAD_FAILED, cause);
           }
           if (cause instanceof SocketTimeoutException) {
               
               throw new DownloadTimeoutException(DOWNLOAD_TIMEOUT_EXCEPTION);
           }
           if (cause instanceof ConnectionClosedException) {
               
               throw new DownloadConnectionClosedException("ConnectionClosedException " + cause, IMAGE_DOWNLOAD_FAILED, cause);
           }
           if(cause instanceof UnsupportedCharsetException) {
               
                             throw new BadRequestException("Image download failed with UnsupportedCharsetException " + cause,
                   INVALID_CONTENT_TYPE_EXCEPTION, cause);
           }
           if (cause instanceof CircuitBreakerOpenException)
               throw cause;

           throw new BadRequestException("Image download failed: " + e.getMessage(),
               IMAGE_DOWNLOAD_FAILED, cause);
       }

核心原因 #

• 服务端侧规则或节点异常：目标站点可能配置了WAF限流、访问频率管控规则，请求触发阈值时会被直接丢弃，无响应返回进而触发客户端超时；若站点采用多节点部署，部分节点可能存在资源路由配置缺失、服务故障问题，请求落到异常节点时无响应，落到正常节点时可正常返回404状态码。
• 客户端连接校验配置问题：你的配置中显式关闭了陈旧连接检查setStaleConnectionCheckEnabled(false)，当从连接池获取到服务端已主动关闭的失效连接时，请求发出后无法收到响应，会触发SocketTimeout；若拿到有效连接则可完成HTTP交互，正常收到404。
• 公网链路波动：公网传输存在随机丢包、路由抖动情况，当丢包重传耗时超过你配置的连接超时（5s）或套接字超时（10s）时，就会抛出超时异常，网络正常时则可正常拿到404响应。

优化建议 #

• 开启陈旧连接检查，或给连接池配置空闲连接超时自动回收规则，避免使用失效连接
• 对幂等的GET请求添加合理的重试逻辑，兼容网络波动、临时限流场景
• 可埋点记录超时发生的阶段（连接阶段/数据传输阶段），进一步缩小问题范围

内容的提问来源于stack exchange，提问作者amit kumar