如何解析受CloudFlare CDN保护的网站HTML？simple_html_dom.php调用遇阻

哦，CloudFlare的人机验证确实是静态爬虫的拦路虎，你用file_get_html直接请求肯定过不了——它太“朴素”了，一眼就被识别成非人类请求。给你几个实用的解决思路，亲测有效的那种：

1. 用cURL模拟真实浏览器请求 #

CloudFlare首先会检查请求头是否像真实浏览器，我们可以用cURL带上完整的浏览器请求头，甚至维护Cookie会话，来蒙混过关。试试这个代码：

require_once 'simple_html_dom.php';

// 替换成你要爬取的目标网站URL
$targetUrl = "https://example.com";

// 初始化cURL会话
$ch = curl_init($targetUrl);

// 设置cURL选项，模拟Chrome浏览器请求
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // 自动处理跳转
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36");
curl_setopt($ch, CURLOPT_HTTPHEADER, [
    "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "Accept-Language: zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3",
    "Connection: keep-alive",
    "Upgrade-Insecure-Requests: 1"
]);
// 保存和读取Cookie，维持会话状态
curl_setopt($ch, CURLOPT_COOKIEJAR, 'cloudflare_cookies.txt');
curl_setopt($ch, CURLOPT_COOKIEFILE, 'cloudflare_cookies.txt');

// 执行请求并获取页面内容
$pageContent = curl_exec($ch);
curl_close($ch);

// 用simple_html_dom解析内容
$html = str_get_html($pageContent);
if ($html) {
    // 这里可以添加你的解析逻辑，比如提取特定元素
    echo $html;
} else {
    echo "cURL模拟没成功？可能需要试试无头浏览器方案";
}

2. 用无头浏览器处理JS验证 #

如果CloudFlare启用了JS挑战（比如点击验证按钮、滑动拼图），纯cURL就搞不定了——得用能执行JS的无头浏览器。PHP生态里推荐用spatie/browsershot（基于Puppeteer），它能模拟真实浏览器渲染页面，自动完成JS验证。

先通过Composer安装依赖：

composer require spatie/browsershot

然后用下面的代码获取页面：

require_once 'simple_html_dom.php';
use Spatie\Browsershot\Browsershot;

$targetUrl = "https://example.com";

// 模拟浏览器加载页面，等待网络空闲确保JS验证完成
$pageContent = Browsershot::url($targetUrl)
    ->userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
    ->waitUntilNetworkIdle()
    ->html();

// 解析HTML内容
$html = str_get_html($pageContent);
echo $html;

注意事项 #

• 不要频繁请求！CloudFlare会触发IP封禁，建议添加请求间隔（比如sleep(5)）。
• 务必遵守目标网站的robots.txt和使用条款，非法爬取可能带来法律风险。
• CloudFlare的防护规则会持续更新，要是上面的方法突然失效，可能需要调整请求头或升级无头浏览器版本。

内容的提问来源于stack exchange，提问作者MUHSIN MOHAMED PC