线程中CURL主机离线时内存无法释放的问题求助

核心是异步无响应的CURL请求在boost线程池场景下，主机离线时资源未正确释放。单线程环境下CURL的资源清理逻辑正常，但多线程+无等待响应的场景中，请求失败（主机离线）时，CURL句柄、表单资源或连接资源未被及时回收，导致内存持续增长。

1. 线程局部CURL句柄池化+显式重置 #

避免每次请求创建新CURL句柄，用线程局部存储复用句柄，且每次请求后强制重置，线程退出时销毁句柄：

// 线程局部存储，每个线程拥有独立CURL句柄，避免竞争
thread_local CURL* curl_handle = nullptr;

void init_curl_per_thread() {
    if (!curl_handle) {
        curl_handle = curl_easy_init();
        // 配置通用参数：短超时、不接收响应体、复用连接
        curl_easy_setopt(curl_handle, CURLOPT_NOSIGNAL, 1L);
        curl_easy_setopt(curl_handle, CURLOPT_TIMEOUT_MS, 1000L);
        curl_easy_setopt(curl_handle, CURLOPT_CONNECTTIMEOUT_MS, 500L);
        curl_easy_setopt(curl_handle, CURLOPT_FORBID_REUSE, 0L);
        // 禁用响应体接收，减少内存占用
        curl_easy_setopt(curl_handle, CURLOPT_WRITEFUNCTION, [](char*, size_t, size_t, void*){return 0;});
    }
}

void cleanup_curl_per_thread() {
    if (curl_handle) {
        curl_easy_cleanup(curl_handle);
        curl_handle = nullptr;
    }
}

2. 强制清理请求资源（无论成败） #

针对带图片的POST请求，必须显式释放curl_mime资源，失败时额外触发连接回收：

void send_image_post(const std::string& url, const std::vector<char>& image_data) {
    init_curl_per_thread();
    if (!curl_handle) return;

    // 构建图片表单
    curl_mime* mime = curl_mime_init(curl_handle);
    curl_mimepart* part = curl_mime_addpart(mime);
    curl_mime_name(part, "image");
    curl_mime_data(part, image_data.data(), image_data.size());
    curl_mime_type(part, "image/jpeg");

    // 设置请求参数
    curl_easy_setopt(curl_handle, CURLOPT_URL, url.c_str());
    curl_easy_setopt(curl_handle, CURLOPT_MIMEPOST, mime);

    // 执行请求（非阻塞短超时）
    CURLcode res = curl_easy_perform(curl_handle);
    
    // 立即清理表单资源
    curl_mime_free(mime);
    // 重置句柄，清除当前请求的所有配置
    curl_easy_reset(curl_handle);

    // 失败时强制回收连接资源
    if (res != CURLE_OK) {
        curl_easy_setopt(curl_handle, CURLOPT_FORBID_REUSE, 1L);
        curl_easy_perform(curl_handle); // 触发连接关闭
        curl_easy_setopt(curl_handle, CURLOPT_FORBID_REUSE, 0L);
    }
}

3. 限制线程池规模 #

不要无限制创建线程，设置合理的线程数（如CPU核心数*2），避免线程过多导致CURL资源调度阻塞：

// boost线程池初始化，限制并发数
boost::asio::thread_pool pool(std::thread::hardware_concurrency() * 2);

4. 禁用DNS缓存（可选） #

主机离线时，无效的DNS缓存会占用内存，禁用后减少内存堆积：

curl_easy_setopt(curl_handle, CURLOPT_DNS_CACHE_TIMEOUT, 0L);

• 线程局部存储CURL句柄，杜绝多线程竞争同一句柄的问题
• 无论请求成功或失败，必须显式清理curl_mime等临时资源
• 不要依赖线程退出时自动执行curl_easy_cleanup，需显式调用清理函数
• 禁用不必要的响应体接收，减少内存占用

内容的提问来源于stack exchange，提问作者Everton Soares