RestTemplate连接超时问题排查方案咨询

某连锁门店移动端应用拥有2万+用户，用户每日在应用内处理工作任务。但每周约有20例用户在关闭任务时因RestTemplate出现Connection timed out异常而收到500错误，错误日志如下：

[some_of_internal_lib.aop.logging._Aspect[ResourceAccessException: I/O error on GET request for "http:SOME_OF_URL/director": Connection timed out (Connection timed out); nested exception is java.net.ConnectException: Connection timed out (Connection timed out) -> in SOME_OF_CLASS.getDirector() with cause = java.net.ConnectException: Connection timed out (Connection timed out) and trace org.springframework.web.client.RestTemplate.doExecute(RestTemplate.java:666)

该异常发生在调用独立部署于Kubernetes Pod的子模块（director容器）获取负责人信息的方法中，RestTemplate未设置超时（默认无限超时），且已尝试增加director容器的Pod数量，但问题仍未解决。

以下是排查根因的具体建议：

• 网络连通性排查

  • 在调用方Pod内周期性执行telnet <director-service-ip> <port>或nc -zv <director-service-ip> <port>，验证与director服务的连通性，排查是否存在偶发丢包、端口不通的情况
  • 查看Kubernetes集群网络插件（如Calico、Flannel）的日志，确认是否有网络策略冲突、路由异常或Pod间通信的偶发故障
  • 检查云服务商负载均衡、安全组配置（若为云集群），确认是否存在流量限制或端口拦截的偶发情况

• director服务可用性分析

  • 查看director Pod的监控数据：CPU、内存使用率是否有突增，是否存在OOM被终止的情况（通过kubectl describe pod <pod-name>查看事件）
  • 检查director服务日志，确认超时发生时段是否有请求堆积、线程池耗尽的情况（如Tomcat线程池队列满导致新请求无法处理）
  • 验证Kubernetes Service的Endpoint状态，执行kubectl get endpoints <director-service>，确认是否存在Endpoint偶发失效的情况

• RestTemplate配置优化与监控增强

  • 立即为RestTemplate设置合理的连接超时和读取超时，避免请求无限阻塞，同时捕获超时异常返回友好提示而非500错误：

    SimpleClientHttpRequestFactory factory = new SimpleClientHttpRequestFactory();
    factory.setConnectTimeout(5000); // 连接超时5秒
    factory.setReadTimeout(10000);   // 读取超时10秒
    RestTemplate restTemplate = new RestTemplate(factory);
    

  • 为调用director服务的接口添加详细日志，记录请求时间、目标Pod IP、响应耗时，便于定位是特定Pod还是整体服务的问题
  • 增加链路监控（如SkyWalking、Pinpoint），追踪每次调用的全链路耗时，确认超时发生在连接阶段还是读取阶段

• Kubernetes调度与资源排查

  • 检查director Pod所在节点的资源使用情况，确认是否存在CPU/内存耗尽、磁盘IO过高导致Pod无法正常响应的情况
  • 查看Pod重启记录，执行kubectl get pods -l app=director，检查RESTARTS列，确认是否存在频繁重启导致的服务短暂不可用
  • 验证HPA（水平Pod自动扩缩容）配置是否生效，确认流量高峰时是否及时扩容，且扩容后的Pod就绪后才被加入服务端点

• DNS解析排查

  • 在调用方Pod内执行nslookup <director-service-name>或dig <director-service-name>，测试服务域名解析是否存在延迟或失败的情况
  • 查看Kubernetes CoreDNS日志，确认是否有DNS查询超时或异常记录

内容的提问来源于stack exchange，提问作者Lotus