Golang爬虫场景下HTTP客户端连接池持续增大原因排查

你的问题核心在于**DisableKeepAlives: true这个配置直接导致了大量TIME_WAIT连接累积**，具体原因和解决思路如下：

为什么会出现大量TIME_WAIT连接？ #

• 当设置DisableKeepAlives: true时，HTTP客户端会在每次请求完成后主动关闭TCP连接。根据TCP协议，主动发起关闭连接的一方会进入TIME_WAIT状态，这个状态默认会持续2个MSL（最长报文段寿命，通常1-2分钟），用来确保对方收到最后的FIN包，避免残留报文干扰后续新连接。
• 你面对的是海量域名，每个域名的请求都是独立的TCP连接（HTTP长连接复用仅针对同一主机），再加上256个协程持续发起请求，新连接不断创建并关闭，旧的TIME_WAIT连接还未到释放时间，自然会累积出大量TIME_WAIT状态的连接。
• 额外说明：你配置了ForceAttemptHTTP2: true，但HTTP2的多路复用依赖长连接，DisableKeepAlives: true会直接禁用长连接，导致HTTP2的优势完全无法发挥，实际还是走HTTP1.1的短连接模式。

如何解决这个问题？ #

1. 关闭DisableKeepAlives（最有效方案） #

将DisableKeepAlives改为false（默认值即为false，也可直接删除该配置），这样HTTP客户端会复用同一主机的连接，大幅减少新建连接的数量，从根源上避免TIME_WAIT连接累积。修改后的Transport配置：

Transport: &http.Transport{
    ForceAttemptHTTP2:   true,
    TLSHandshakeTimeout: TLSHandShakeTimeout,
    TLSClientConfig:     &tls.Config{InsecureSkipVerify: true},
    MaxConnsPerHost:     -1,
    // 移除DisableKeepAlives配置，或显式设置为false
},

2. 调整TCP内核参数（辅助优化） #

若因业务限制必须使用短连接，可调整Linux内核参数加快TIME_WAIT连接回收：

• 执行以下命令临时生效：

# 允许复用处于TIME_WAIT状态的连接
sysctl -w net.ipv4.tcp_tw_reuse=1
# 加快TIME_WAIT连接的回收速度
sysctl -w net.ipv4.tcp_tw_recycle=1
# 缩短TIME_WAIT状态的持续时间
sysctl -w net.ipv4.tcp_fin_timeout=30

• 若需永久生效，将上述参数写入/etc/sysctl.conf，再执行sysctl -p加载配置。

3. 合理控制并发数 #

虽然当前用了256个协程，但若目标域名数量极大，可根据实际情况调整并发数，避免短时间内创建过多连接。不过该方案效果远不如开启连接复用明显。

补充说明 #

• MaxConnsPerHost: -1表示不限制同一主机的连接数，开启长连接后，HTTP客户端内部会通过连接池管理连接，不会出现连接溢出问题。
• 务必确保defer res.Body.Close()正常执行，否则即使开启长连接，连接也会被标记为不可用，无法实现复用。

内容的提问来源于stack exchange，提问作者Abe