PHP中如何并发请求URL获取元标签以提升处理效率？

咱们先解决你碰到的Guzzle错误，再给你两种靠谱的并发请求方案，不管是用Guzzle还是原生cURL都能搞定。

一、修正Guzzle并发请求的错误 #

你遇到的Call to undefined function GuzzleHttp\Promise\Promise\all()，是因为命名空间写错了——Guzzle 6里正确的Promise聚合方法是GuzzleHttp\Promise\all()，不需要嵌套额外的Promise\层级。

另外，你代码里的dump($profile)应该是笔误，咱们补上解析页面元标签的逻辑，修正后的完整代码如下：

use GuzzleHttp\Client;
use GuzzleHttp\Promise;

$urlData = ['http://youtube.com', 'http://dailymotion.com', 'http://php.net'];
$client = new Client();
$promises = [];

// 批量创建异步请求Promise
foreach ($urlData as $url) {
    $promises[$url] = $client->requestAsync('GET', $url, [
        // 可以添加超时、头信息等配置，避免请求卡住
        'timeout' => 10,
        'headers' => [
            'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
        ]
    ]);
}

// 等待所有Promise完成，处理响应
Promise\all($promises)->then(function (array $responses) {
    foreach ($responses as $url => $response) {
        $htmlData = (string)$response->getBody();
        // 解析页面元标签和描述的示例函数
        $metaData = $this->extractMetaTags($htmlData);
        echo "URL: {$url}\n";
        echo "标题: {$metaData['title']}\n";
        echo "描述: {$metaData['description']}\n\n";
    }
})->wait();

// 解析元标签的辅助函数
private function extractMetaTags($html) {
    $dom = new \DOMDocument();
    @$dom->loadHTML($html); // @忽略HTML解析警告
    $metaData = [
        'title' => $dom->getElementsByTagName('title')->item(0)?->nodeValue ?? '无标题',
        'description' => ''
    ];
    
    foreach ($dom->getElementsByTagName('meta') as $meta) {
        if ($meta->getAttribute('name') === 'description') {
            $metaData['description'] = $meta->getAttribute('content') ?? '无描述';
            break;
        }
    }
    return $metaData;
}

关键注意点： #

• 给请求加上timeout配置，避免某个慢请求拖垮整个任务
• 加上合理的User-Agent，很多网站会拦截无UA的请求
• 用(string)$response->getBody()把响应体转换成字符串，方便后续解析

二、原生cURL multi实现并发请求 #

如果你不想依赖Guzzle，用原生cURL multi也能实现并发，以下是完整的实现代码：

$urlData = ['http://youtube.com', 'http://dailymotion.com', 'http://php.net'];
$multiHandle = curl_multi_init();
$handles = [];
$results = [];

// 初始化每个cURL句柄，添加到多句柄中
foreach ($urlData as $index => $url) {
    $handle = curl_init($url);
    curl_setopt($handle, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($handle, CURLOPT_TIMEOUT, 10);
    curl_setopt($handle, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36');
    curl_setopt($handle, CURLOPT_FOLLOWLOCATION, true); // 跟随重定向
    
    $handles[$index] = $handle;
    curl_multi_add_handle($multiHandle, $handle);
}

// 执行并发请求
$running = null;
do {
    curl_multi_exec($multiHandle, $running);
    curl_multi_select($multiHandle); // 等待活动连接，避免CPU空转
} while ($running > 0);

// 获取每个请求的结果并解析
foreach ($handles as $index => $handle) {
    $htmlData = curl_multi_getcontent($handle);
    $metaData = $this->extractMetaTags($htmlData); // 复用上面的解析函数
    $results[$urlData[$index]] = $metaData;
    
    // 清理句柄
    curl_multi_remove_handle($multiHandle, $handle);
    curl_close($handle);
}

curl_multi_close($multiHandle);

// 输出结果
foreach ($results as $url => $meta) {
    echo "URL: {$url}\n";
    echo "标题: {$meta['title']}\n";
    echo "描述: {$meta['description']}\n\n";
}

关键注意点： #

• 使用curl_multi_select()避免CPU高占用，它会等待有活动连接时再继续执行
• 开启CURLOPT_FOLLOWLOCATION处理3xx重定向，很多网站会跳转
• 记得清理所有cURL句柄，避免资源泄漏

这两种方案都能实现并发请求，相比循环逐个请求，能大幅节省总耗时。Guzzle的方式更简洁易维护，cURL multi则是原生实现，不需要额外依赖，你可以根据自己的项目需求选择。

内容的提问来源于stack exchange，提问作者user9187104