Go net/http并发调度器TCP端口耗尽问题及优化方案咨询

1. 全局HTTP客户端连接池复用 #

不要为每个请求或goroutine创建新的http.Client，全局复用一个配置合理的客户端，确保TCP连接被复用而非频繁新建：

var globalClient = &http.Client{
    Transport: &http.Transport{
        MaxIdleConns:          10000,   // 全局最大空闲连接数
        MaxIdleConnsPerHost:   1000,    // 每个目标主机的最大空闲连接数
        IdleConnTimeout:       90 * time.Second, // 空闲连接超时时间（需短于服务端KeepAlive超时）
        DisableKeepAlives:     false,   // 保持长连接开启
        TLSHandshakeTimeout:   10 * time.Second,
    },
    Timeout: 30 * time.Second, // 单个请求超时时间
}

所有内部API和调度器调用都使用这个全局客户端，彻底避免每次请求新建连接带来的端口消耗。

2. 任务分层限流与批量处理 #

• 商户级限流：用带缓冲的channel做信号量，控制同时处理的商户数量，比如限制为200个：

  merchantSem := make(chan struct{}, 200)
  for _, merchant := range merchants {
      merchantSem <- struct{}{}
      go func(m Merchant) {
          defer func() { <-merchantSem }()
          // 处理该商户的所有订单
      }(merchant)
  }
  

• 订单批量处理：将每个商户的数百笔订单打包成批量请求（如果内部API支持），减少HTTP请求总数，降低连接占用。

3. 异步任务队列+Worker池 #

将所有订单任务放入阻塞队列，启动固定数量的Worker进程消费任务，而非为每个订单创建goroutine：

type Task struct {
    MerchantID int
    OrderIDs   []int
}

taskQueue := make(chan Task, 10000) // 缓冲队列容纳待处理任务

// 启动Worker池
for i := 0; i < 2000; i++ {
    go func() {
        for task := range taskQueue {
            // 调用内部API和调度器处理订单
            handleOrderTask(task)
        }
    }()
}

// 生产任务：将每个商户的订单分批送入队列
for _, merchant := range merchants {
    orderBatches := splitOrdersIntoBatches(merchant.Orders, 50) // 每50笔订单一个批次
    for _, batch := range orderBatches {
        taskQueue <- Task{MerchantID: merchant.ID, OrderIDs: batch}
    }
}

Worker数量根据系统资源（CPU、内存、端口容量）调整，避免并发过载。

4. 定时任务分片执行 #

不要让所有商户的定时任务在同一时间触发，按商户ID哈希分片，分散到10分钟内的不同时间点执行：

• 例如：商户ID % 10 == 0 的在第0分钟执行，%10 ==1 的在第1分钟执行，以此类推，避免瞬间爆发上万请求。

1. 客户端连接复用配置（核心） #

如上文的全局http.Client配置，重点确保MaxIdleConnsPerHost不低于并发请求数，IdleConnTimeout匹配服务端KeepAlive设置，让连接尽可能被复用，从根源减少端口消耗。

2. 调整系统TCP参数 #

修改Linux系统内核参数（需root权限），加快端口回收并扩大可用范围：

# 缩短TIME_WAIT超时时间（默认60秒，改为30秒）
echo 30 > /proc/sys/net/ipv4/tcp_fin_timeout

# 开启TIME_WAIT端口复用（仅对本地连接有效）
echo 1 > /proc/sys/net/ipv4/tcp_tw_reuse

# 扩大本地可用端口范围（默认32768-60999，改为1024-65535）
echo "1024 65535" > /proc/sys/net/ipv4/ip_local_port_range

可将这些配置写入/etc/sysctl.conf，重启后永久生效。

3. 消除不必要的进程创建 #

避免频繁调用exec.Command执行系统命令（如wc），改用Golang内置逻辑实现需求，减少进程资源占用，避免出现fork/exec resource temporarily unavailable错误。

4. 服务端连接优化 #

如果内部API和调度器是自研的，需同步优化服务端配置：

• 开启KeepAlive，设置合理的超时时间（如120秒）
• 调整服务端http.Server的MaxHeaderBytes、ReadTimeout等参数，避免主动关闭空闲连接
• 配置服务端的连接池参数，允许足够的并发连接

内容的提问来源于stack exchange，提问作者sahil garg