Golang并发HTTP请求运行一段时间后报错求助

错误含义解析 #

你遇到的wsarecv: An existing connection was forcibly closed by the remote host是Windows平台下的TCP连接错误，本质是远程服务器主动断开了连接，常见触发原因包括：

• 服务器端并发连接/请求速率超限，触发限流机制
• 空闲连接超时被服务器回收
• 请求频率过高触发反爬策略
• 服务器处理请求时出现内部错误，主动断开连接

具体排查与解决方案 #

1. 控制并发请求数量

如果直接启动近1万个goroutine同时发起请求，会导致：

• 本地临时端口耗尽（Windows默认临时端口池有限）
• 服务器瞬间接收海量请求，触发限流断开连接

解决方案：用带缓冲的通道做并发数限制，比如将并发数控制在50-100（可根据服务器承受能力调整）：

// 示例：限制并发数为50
sem := make(chan struct{}, 50)
for _, data := range dataList {
    sem <- struct{}{}
    go func(item string) {
        defer func() { <-sem }()
        // 你的HTTP请求逻辑
    }(data)
}

2. 优化HTTP客户端连接池配置

Golang默认的http.Transport配置不适配高并发场景，调整以下关键参数：

client := &http.Client{
    Transport: &http.Transport{
        MaxIdleConns:        100,        // 全局最大空闲连接数
        MaxIdleConnsPerHost: 50,         // 单个主机的最大空闲连接数
        IdleConnTimeout:     30 * time.Second, // 空闲连接超时时间，建议短于服务器超时设置
        TLSHandshakeTimeout: 10 * time.Second, // TLS握手超时
    },
    Timeout: 15 * time.Second, // 单个请求的整体超时，避免请求挂起
}

3. 添加错误重试机制

网络连接类错误属于可重试场景，针对这类错误添加重试逻辑（带指数退避）：

func sendRequest(client *http.Client, url string, reqBody []byte) ([]byte, error) {
    var resp *http.Response
    var err error
    // 最多重试3次
    for retry := 0; retry < 3; retry++ {
        resp, err = client.Post(url, "application/json", bytes.NewBuffer(reqBody))
        if err == nil {
            defer resp.Body.Close()
            return io.ReadAll(resp.Body)
        }
        // 判断是否为连接类可重试错误
        if _, ok := err.(*net.OpError); ok || strings.Contains(err.Error(), "connection closed") {
            time.Sleep(time.Duration(retry+1) * time.Second) // 指数退避等待
            continue
        }
        // 非连接类错误直接返回
        return nil, err
    }
    return nil, fmt.Errorf("after 3 retries: %w", err)
}

4. 校验请求合法性

• 检查请求头是否完整（比如User-Agent、Content-Type），部分服务器会拒绝缺少必要头的请求
• 确认请求体格式、参数是否符合服务器要求，避免因解析错误导致连接断开
• 打印服务器返回的状态码（如resp.StatusCode），如果出现429 Too Many Requests，说明明确触发了速率限制

5. 补充日志定位问题

添加详细日志，记录每个请求的：

• 发起/结束时间
• 请求目标URL与关键参数
• 错误的完整堆栈信息
• 服务器响应状态码与响应头
  通过日志可以判断是特定请求触发错误，还是随机的连接异常

内容的提问来源于stack exchange，提问作者Frey Roger