PHP开发中发送海量HTTP请求时如何限制并发连接数并调度队列化请求
超大规模HTTP批量请求的并发限流实现
核心实现思路
面对百万、十亿级别的总任务量,核心要规避的问题是一次性把所有请求对象加载进内存。正确的模式是固定大小并发滑动窗口:
- 预先设定一个稳定的最大并发数(根据本地带宽、目标服务承载能力调整,通常50-200区间是较优值)
- 初始阶段把窗口填满对应数量的请求
- 持续监听窗口内的请求响应,只要某个请求接收完完整响应、处理完毕,就立刻从总任务队列里取一个新请求补进窗口,维持窗口大小恒定
- 直到所有总任务全部下发、全部处理完成后,流程退出
常见实现误区
很多人第一反应是用生成器批量产出请求对象传入stream()方法,但这种方式完全达不到限流效果:
stream()方法在启动响应监听前,会先完整迭代传入的可遍历对象,把所有Response对象全部加载到待监听队列中。哪怕你写的是无限循环的生成器,方法启动的瞬间就会把所有请求全部实例化,最终因为内存不足直接崩溃。
关于其他技术栈的说明
你提到的Guzzle、原生cURL多路复用方案,本质上和Symfony HttpClient的底层能力是同源的(都是基于cURL的multi handle实现非阻塞并发),不需要强行切换库来增加迁移成本。Guzzle虽然封装了现成的Pool并发限流能力,但底层的滑动窗口调度逻辑和下面的实现完全一致,不会带来本质的性能差异。
基于Symfony HttpClient的可运行实现
// 全局配置 $maxConcurrency = 50; // 固定最大并发数 $totalTaskCount = 1000000000; // 总任务量(对应十亿级请求场景) $taskIndex = 0; // 记录已经下发的任务序号 // 初始化客户端,配置全局超时、重定向规则,减少异常影响 $client = HttpClient::create([ 'timeout' => 10, 'max_redirects' => 2, ]); // 初始化请求池:先把并发窗口填满 $pendingPool = []; while (count($pendingPool) < $maxConcurrency && $taskIndex < $totalTaskCount) { $pendingPool[] = $client->request( 'GET', "http://localhost/test.php?id=" . $taskIndex ); $taskIndex++; } // 核心调度循环:只要还有待处理请求、或者还有未下发的任务就持续运行 while (!empty($pendingPool) || $taskIndex < $totalTaskCount) { // 监听当前请求池,设置0.1秒的短超时避免永久阻塞 foreach ($client->stream($pendingPool, 0.1) as $response => $chunk) { // 跳过未接收完成的分片 if (!$chunk->isLast()) { continue; } // 把已完成的请求从待处理池中移除 $finishKey = array_search($response, $pendingPool, true); unset($pendingPool[$finishKey]); // 处理响应逻辑,单请求异常不中断整体流程 try { $responseContent = $response->getContent(); // 在这里添加你的业务处理:解析数据、写入存储等 } catch (\Throwable $e) { error_log("单请求处理失败:" . $e->getMessage()); } // 补入新请求,维持并发窗口稳定 if ($taskIndex < $totalTaskCount) { $pendingPool[] = $client->request( 'GET', "http://localhost/test.php?id=" . $taskIndex ); $taskIndex++; } } }
关键优化点
- 短超时设置:给
stream()方法传入0.1秒左右的超时参数,是为了让监听循环不会长期阻塞,保证每次循环都能及时检查待补充的新请求,避免流程卡滞 - 内存表现:因为请求池始终维持固定大小,无论总任务量是10万还是10亿,内存占用都是恒定值,不会随着任务数上涨线性升高
- 异常隔离:必须把单请求的响应处理、内容读取逻辑包裹在异常捕获块中,避免某个请求报错中断整个批量流程
- 连接复用:如果目标服务支持HTTP2,客户端会自动复用底层TCP连接,可适当提高并发阈值,进一步提升整体吞吐量
内容的提问来源于stack exchange,提问作者whyer
相关产品推荐
相关产品推荐

