PHP中合法检测第三方站点可用性的有效方法是什么？

针对Cloudflare拦截HEAD请求导致链接可用性检测失效的问题，可通过以下几种更贴近真实用户行为的方式优化检测逻辑：

1. 改用GET请求仅获取响应头部（避免下载内容） #

很多站点及Cloudflare的安全规则对GET请求的限制更宽松，我们可以用GET方法但只请求响应头，既达到检测目的又不会下载页面内容：

use GuzzleHttp\Client;

$client = new Client();
$response = $client->request('GET', $encoded_link, [
    'headers' => [
        'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36',
        'Accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        'Accept-Language' => 'zh-CN,zh;q=0.9,en;q=0.8',
        'Connection' => 'keep-alive',
        'Range' => 'bytes=0-0' // 仅请求第一个字节，避免下载完整内容
    ],
    'allow_redirects' => true, // 跟随重定向，准确判断最终页面状态
    'sink' => fopen('php://temp', 'w+') // 内容写入临时内存，不占用磁盘
]);

// 检查状态码是否为正常响应范围
if ($response->getStatusCode() >= 200 && $response->getStatusCode() < 400) {
    echo "链接可用";
} else {
    echo "链接不可用，状态码：" . $response->getStatusCode();
}

2. 完善请求头模拟真实浏览器 #

原有User-Agent版本过旧，容易被识别为爬虫。除更新UA外，补充浏览器常用请求头，让请求特征更接近真实用户：

$headers = [
    'User-Agent' => 'Mozilla/5.0 (Macintosh; Intel Mac OS X 14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36',
    'Accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8',
    'Accept-Language' => 'zh-CN,zh;q=0.9',
    'Accept-Encoding' => 'gzip, deflate, br',
    'Referer' => 'https://your-resource-page.com/', // 替换为你的资源页面URL
    'Connection' => 'keep-alive',
    'Upgrade-Insecure-Requests' => '1'
];

$response = $client->request('GET', $encoded_link, [
    'headers' => $headers,
    'allow_redirects' => true,
    'sink' => fopen('php://temp', 'w+')
]);

3. 加入请求延迟与随机化 #

批量快速请求极易触发Cloudflare的速率限制，建议在每个请求之间加入随机延迟：

// 遍历链接时，每个请求后延迟1-3秒
foreach ($links as $encoded_link) {
    // 执行请求逻辑...
    
    // 随机延迟，避免固定间隔被识别
    sleep(rand(1, 3));
}

4. 尝试使用OPTIONS请求（部分站点支持） #

部分站点允许OPTIONS请求检测资源可用性，这种方法更轻量化，被拦截概率较低：

$response = $client->request('OPTIONS', $encoded_link, [
    'headers' => $headers
]);

if ($response->getStatusCode() >= 200 && $response->getStatusCode() < 400) {
    echo "链接可用";
}

注意事项 #

• 控制请求频率，建议每分钟不超过10个请求（可根据目标站点调整）
• 若仍被拦截，可轮换User-Agent（从真实浏览器UA列表中随机选取）
• 不要忽略重定向，allow_redirects设为true能更准确判断最终页面状态

内容的提问来源于stack exchange，提问作者Charlie Shehadi