如何通过curl分块请求URL？处理大ID数组的批量请求难题

嘿，这个场景我太熟了——25000次单独的curl请求不仅慢得让人抓狂，还容易触发目标服务器的限流，甚至把你本地的资源给拖垮。分块处理绝对是正确的思路，搭配并行请求还能把效率拉满，我给你一步步讲清楚怎么做：

1. 先把大数组拆成小分块 #

第一步就是把你的25000个ID拆成若干小批次，比如每批50个（具体数量可以根据目标服务器能承受的并发数调整）。以你示例里的PHP语法为例，用array_chunk()函数就能轻松搞定：

$array = range(1, 25000); // 模拟你的25000个ID数组
$chunkSize = 50; // 每批次的ID数量，可按需调整
$chunks = array_chunk($array, $chunkSize);

2. 分块发起并行请求（核心优化点） #

如果只是分块但还是串行请求，效率提升有限，最好用curl_multi实现同批次内的并行请求，这样能大幅减少总耗时：

完整可复用代码示例 #

$array = range(1, 25000);
$chunkSize = 50;
$chunks = array_chunk($array, $chunkSize);

// 遍历每个分块处理
foreach ($chunks as $chunkIndex => $idChunk) {
    $mh = curl_multi_init();
    $handles = [];

    // 为当前分块的每个ID创建curl请求句柄
    foreach ($idChunk as $id) {
        $url = "https://your-target-url.com/api?id=$id"; // 替换成你的实际请求URL
        $ch = curl_init($url);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        // 必加：设置超时时间，避免单个请求卡住整个批次
        curl_setopt($ch, CURLOPT_TIMEOUT, 10);
        // 可按需添加其他配置：请求头、POST参数、SSL验证等
        curl_multi_add_handle($mh, $ch);
        $handles[$id] = $ch;
    }

    // 执行并行请求
    $running = null;
    do {
        curl_multi_exec($mh, $running);
        curl_multi_select($mh);
    } while ($running > 0);

    // 处理每个请求的响应，用于后续计算
    foreach ($handles as $id => $ch) {
        $response = curl_multi_getcontent($ch);
        // 这里写你的后续计算逻辑，比如：
        // processCalculation($id, $response);
        curl_multi_remove_handle($mh, $ch);
        curl_close($ch);
    }

    curl_multi_close($mh);

    // 可选：每处理完一个分块加短暂延迟，避免触发服务器限流
    usleep(500000); // 0.5秒，可根据限流情况调整
}

3. 关键注意事项 #

• 灵活调整分块大小：别贪多，先从20-50个的小批次测试，如果遇到429限流提示，就减小分块大小或者延长延迟时间。
• 加错误处理：实际代码里要加上curl_errno()检测，避免个别请求失败导致整个流程中断。
• 及时释放资源：一定要关闭curl句柄和multi句柄，避免内存泄漏。
• 其他语言适配：如果你用的不是PHP，核心思路也通用——Python可以用concurrent.futures，Bash可以用xargs -P实现并行分块请求。

内容的提问来源于stack exchange，提问作者Iqra Raees