求助：使用PHP与XPath抓取外部网站Div内容输出为0的问题

嘿，我来帮你捋捋这个问题！之前我用PHP做网页抓取的时候也碰到过类似的情况，输出0大概率是XPath没找到匹配的节点，或者页面加载/解析环节出了问题，咱们一步步排查：

第一步：先确认你拿到的页面内容是对的 #

很多时候问题根本不在XPath，而是你没成功获取到目标网站的完整HTML。比如目标网站有反爬机制，或者file_get_contents被限制了，这时候换用curl模拟浏览器请求会靠谱很多：

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, '你的目标网址');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // 处理页面跳转
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36');
$html = curl_exec($ch);
curl_close($ch);

// 先看看有没有拿到内容
if(empty($html)) {
    echo "糟了，页面加载失败！可能是反爬或者网络问题";
    exit;
}

如果这里$html是空的，那先解决页面获取的问题，后面的XPath都是白搭。

第二步：别让DOM解析坑了你 #

网页的HTML往往不规范，DOMDocument默认会因为语法报错导致解析失败，一定要加上错误抑制的配置：

$dom = new DOMDocument();
// 关闭HTML解析的错误提示，避免页面不规范导致解析失败
libxml_use_internal_errors(true);
// 处理UTF-8编码，防止乱码或解析异常
$dom->loadHTML('<?xml encoding="UTF-8">' . $html);
libxml_clear_errors();
$xpath = new DOMXPath($dom);

要是没加这些，哪怕页面内容拿到了，DOM解析坏了，XPath也查不到任何节点。

第三步：你的XPath可能不对！ #

Chrome复制的XPath有时候真的不太靠谱，比如：

• 它可能生成绝对路径（比如/html/body/div[3]/div[2]），页面结构稍微变一下就失效，建议用相对路径+属性定位，比如//div[@class='你的目标class']
• 如果目标div的class有多个值（比如class="content main"），用@class='content'是匹配不到的，得改成//div[contains(@class, 'content')]或者//div[normalize-space(@class)='content main']
• 还有一种情况：你在Chrome看到的内容是JS动态加载的，但PHP直接拿的是静态HTML，这时候XPath肯定找不到！这种情况得用无头浏览器（比如PHP版的Puppeteer）来获取渲染后的页面。

教你个验证XPath的小技巧：把刚才获取到的$html保存成本地的test.html文件，然后用Chrome打开这个文件，按F12打开开发者工具，在控制台输入$x("你的XPath表达式")，看看能不能找到节点。如果本地静态文件里找不到，那就是XPath的问题；如果本地能找到但PHP里找不到，那就是DOM解析或者编码的问题。

给你个完整的示例代码 #

把上面的步骤整合起来，你可以试试这个：

// 1. 获取页面内容
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, '你的目标网址');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36');
$html = curl_exec($ch);
curl_close($ch);

if(empty($html)) {
    die("页面加载失败，请检查网络或目标网站设置");
}

// 2. 解析DOM
$dom = new DOMDocument();
libxml_use_internal_errors(true);
$dom->loadHTML('<?xml encoding="UTF-8">' . $html);
libxml_clear_errors();
$xpath = new DOMXPath($dom);

// 3. 用稳定的XPath查询（这里替换成你的目标表达式）
$xpathExpr = "//div[normalize-space(@class)='target-div']/a";
$nodes = $xpath->query($xpathExpr);

if($nodes->length > 0) {
    foreach($nodes as $node) {
        // 输出a标签的文本内容
        echo "文本内容：" . $node->nodeValue . "\n";
        // 输出a标签的完整HTML
        echo "HTML内容：" . $dom->saveHTML($node) . "\n";
    }
} else {
    echo "没找到匹配的节点！建议把HTML存到本地测试XPath，或者检查是否是JS动态内容";
    // 保存HTML到本地方便测试
    file_put_contents('test.html', $html);
}

内容的提问来源于stack exchange，提问作者zero