PHP高效验证URL存在性：实时统计谷歌索引有效页面数

嘿，针对你要实时验证谷歌索引URL、把耗时从1分钟压缩到数秒的需求，我给你几个实用的方案，应该能解决问题：

1. 改用HEAD请求替代GET请求（立竿见影的优化） #

你之前用get_headers()或cURL慢，大概率是因为默认发送了GET请求——会下载整个页面内容，这完全没必要！改成HEAD请求只获取响应头，数据传输量能减少90%以上：

用get_headers()实现HEAD请求 #

function checkUrlExists($url) {
    $context = stream_context_create([
        'http' => [
            'method' => 'HEAD', // 关键：发送HEAD请求
            'timeout' => 2 // 设置2秒超时，避免卡慢
        ]
    ]);
    $headers = @get_headers($url, 1, $context); // 加@屏蔽警告
    return $headers && strpos($headers[0], '200') !== false; // 检查200状态码
}

用cURL实现HEAD请求 #

function checkUrlExistsCurl($url) {
    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_NOBODY, true); // 只获取响应头
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // 自动处理3xx跳转
    curl_setopt($ch, CURLOPT_TIMEOUT, 2); // 超时设置
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); // 跳过SSL验证（如果不需要严格验证的话）
    curl_exec($ch);
    $statusCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    curl_close($ch);
    return $statusCode >= 200 && $statusCode < 400; // 200-399都算有效
}

2. 并发请求替代串行处理（核心提速手段） #

串行处理50个URL，每个哪怕只花2秒，总耗时也得100秒。改成并发请求，同时处理多个URL，总耗时就是单个请求的最长时间（比如2-3秒）。

用Guzzle实现并发HEAD请求（最简便） #

Guzzle是PHP里的HTTP客户端，自带并发功能，代码更简洁：

require 'vendor/autoload.php'; // 先通过Composer安装Guzzle

use GuzzleHttp\Client;
use GuzzleHttp\Promise;

$client = new Client([
    'timeout' => 2,
    'allow_redirects' => true
]);

// 准备所有URL的异步HEAD请求
$promises = [];
$urls = ['https://example.com/url1', 'https://example.com/url2', ...]; // 你的URL列表
foreach ($urls as $url) {
    $promises[$url] = $client->headAsync($url);
}

// 并发执行所有请求
$results = Promise\unwrap($promises);

// 统计有效URL数量
$validCount = 0;
foreach ($results as $url => $response) {
    if ($response->getStatusCode() >= 200 && $response->getStatusCode() < 400) {
        $validCount++;
    }
}

echo "有效页面数量：{$validCount}";

用原生curl_multi实现并发（无需第三方库） #

如果不想用Guzzle，也可以用PHP原生的curl_multi_*函数，代码稍微繁琐一点，但也能实现并发：

$urls = ['https://example.com/url1', 'https://example.com/url2', ...];
$handles = [];
$mh = curl_multi_init();

foreach ($urls as $url) {
    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_NOBODY, true);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
    curl_setopt($ch, CURLOPT_TIMEOUT, 2);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_multi_add_handle($mh, $ch);
    $handles[] = $ch;
}

// 执行并发请求
$running = null;
do {
    curl_multi_exec($mh, $running);
    curl_multi_select($mh);
} while ($running > 0);

// 统计结果
$validCount = 0;
foreach ($handles as $ch) {
    $statusCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    if ($statusCode >= 200 && $statusCode < 400) {
        $validCount++;
    }
    curl_multi_remove_handle($mh, $ch);
    curl_close($ch);
}
curl_multi_close($mh);

echo "有效页面数量：{$validCount}";

3. 直接调用谷歌索引API（最精准高效的方案） #

既然你要验证的是谷歌已索引的URL，其实完全不用一个个请求页面——直接从谷歌获取索引状态才是最优解：

• 谷歌搜索控制台API：先在搜索控制台验证你的域名权限，然后调用URL Inspection API可以直接查询单个URL是否被索引，或者调用sitemaps接口获取域名下所有已索引的URL，直接和你的列表对比统计数量。这个方法速度极快，而且结果完全准确（毕竟是谷歌自己的数据）。
• 自定义搜索API：如果只是验证少量URL，可以发送搜索请求site:yourdomain.com inurl:target-path，看返回结果是否包含目标URL。不过这个有调用次数限制，适合小规模验证。

额外优化技巧 #

• 去重URL列表：先对URL列表去重，减少不必要的请求。
• 设置合理超时：把超时时间设为1-3秒，避免等待无响应的URL拖慢整体。
• 开启HTTP/2：如果目标服务器支持，开启HTTP/2能进一步提升并发请求效率（Guzzle默认支持，cURL需设置CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_2TLS）。

按这些方案来，处理50个URL绝对能在数秒内完成，实时展示完全没问题！

内容的提问来源于stack exchange，提问作者Jenz