复用HTTP客户端对象时仅客户网络生产环境出现POST请求随机失败

这种环境依赖的随机问题真的太磨人了！我之前也碰到过类似的客户网络生产环境独有的疑难杂症，结合你描述的现象，给你几个针对性的排查和解决方向：

1. 先查连接池和网络设备的超时匹配问题 #

复用的HTTP客户端一般自带连接池，客户生产网里的防火墙、负载均衡器大概率会有闲置连接自动断开的规则——比如超过5分钟没活动的连接就直接掐掉。但你的客户端连接池可能还觉得这些连接是可用的，下次复用的时候就会失败。而每次新建客户端的话，都是用全新的连接，自然就避开了这个坑。

• 你可以检查下复用的客户端配置，看看有没有设置连接存活超时的参数（比如类似maxIdleTime或者keepAliveTimeout这类），把它设得比客户网络设备的超时时间短个10-20秒，让客户端在连接被掐掉前就主动回收掉。
• 要是客户端支持的话，开启连接池的健康检查，比如每次复用连接前先发送一个小的探测包，确认连接还能用再发请求。

2. 排查客户网络的安全设备拦截规则 #

有些客户的防火墙、代理服务器会对长连接做特殊的安全校验——比如长时间持有同一个连接发送请求，可能被设备判定为异常流量（比如爬虫、攻击），就被随机拦截了。而每次新建客户端都是新连接，流量特征不一样，就没触发拦截。

• 赶紧找客户的运维团队确认下，生产网最近有没有调整过防火墙/代理的规则，有没有针对长连接的拦截策略。
• 可以先做个临时测试：给复用的客户端加个逻辑，每发100次请求就自动重建一次客户端实例，看看失败率会不会下降，要是有效，基本就能实锤是长连接被拦截的问题。

3. 排查单例客户端的线程安全隐患 #

虽然大部分主流的HTTP客户端都是线程安全的，但如果你们的Utilities.client单例在初始化或者复用的时候有线程安全问题——比如初始化没加锁，多线程并发创建的时候出了状态冲突，在客户生产环境的高并发场景下就会暴露出来，而测试环境并发量低，就没触发。

• 先检查下Utilities.client的单例创建逻辑，比如是不是用了双重检查锁来保证线程安全，有没有可能出现多个线程同时初始化的情况。
• 可以在生产环境加个日志，每次复用客户端的时候记录下当前线程ID、客户端的哈希值，看看失败的请求是不是集中在某个线程或者某个客户端实例上，找规律。

4. 看看DNS缓存的锅 #

复用的HTTP客户端通常会缓存DNS解析结果，要是客户网络里的DNS服务器有动态变更，或者存在DNS污染的情况，客户端用了过期的IP地址去连接，就会随机失败。而每次新建客户端都会重新解析DNS，自然就拿到了正确的IP。

• 检查下复用客户端的DNS缓存配置，把缓存时长调短（比如设成60秒），或者干脆禁用客户端的DNS缓存，强制每次请求都重新解析域名。

备注：内容来源于stack exchange，提问作者Tanquen