如何让CURL建立更多TCP连接以提升GCS数据读取吞吐量？

首先明确：libcurl确实会自行管理连接池，但默认参数和使用方式会限制并发连接数，仅调整CURLMOPT_MAX_HOST_CONNECTIONS不足以达到预期的连接数，需要从以下几个方面调整：

1. 调整连接池相关的全局选项 #

除了CURLMOPT_MAX_HOST_CONNECTIONS，你还需要调整其他全局连接限制参数：

• CURLMOPT_MAX_TOTAL_CONNECTIONS：这是libcurl允许的全局最大并发连接数，默认值通常是10，这就是你设置CURLMOPT_MAX_HOST_CONNECTIONS为0后连接数仍少于10的核心原因。需要将其调至足够大（比如50），匹配Go程序的45个连接规模。
• CURLMOPT_MAXCONNECTS：这是连接池中允许缓存的闲置连接数，调大这个值可以避免连接被过早释放，提升连接复用率。
• 示例代码片段（C++）：

  CURLM* multi_handle = curl_multi_init();
  curl_multi_setopt(multi_handle, CURLMOPT_MAX_TOTAL_CONNECTIONS, 50L);
  curl_multi_setopt(multi_handle, CURLMOPT_MAX_HOST_CONNECTIONS, 0L); // 0表示无限制单host连接数
  curl_multi_setopt(multi_handle, CURLMOPT_MAXCONNECTS, 50L);
  

2. 必须使用multi handle管理多并发请求 #

如果你的程序只用单个easy handle发起请求，哪怕调大了连接参数，也只能复用单个TCP连接。要建立多个连接，你需要：

• 创建多个easy handle（比如45个），每个handle负责读取GCS Blob的一个分块（通过Range请求头指定字节范围）
• 将所有easy handle添加到同一个multi handle中，同时发起异步请求
• 这样libcurl会根据全局参数限制，为不同的easy handle建立独立的TCP连接，实现并发下载

3. 检查HTTP版本的影响 #

如果你的libcurl默认使用HTTP/2，HTTP/2的多路复用特性会让多个请求复用同一个TCP连接，这时候即使有多个并发请求，也不会新建大量TCP连接。可以强制使用HTTP/1.1来触发多连接：

curl_easy_setopt(easy_handle, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_1);

4. 排查系统级限制 #

• 文件描述符限制：每个TCP连接会占用一个文件描述符，如果进程的文件描述符上限太低，可能会限制连接数。可以通过ulimit -n查看并调整上限。
• 系统TCP参数：比如net.ipv4.tcp_max_syn_backlog等，但通常默认值足够支撑数十个连接，除非有特殊配置。

总结 #

核心是用multi handle管理多并发分块请求，同时调大全局连接数限制，必要时强制HTTP/1.1，这样就能让libcurl建立足够多的TCP连接，提升GCS Blob读取的吞吐量。

内容的提问来源于stack exchange，提问作者Tinyden