PHP中如何用XPath提取网页div类内容？代码返回空求解决

嘿，你的代码里有几个明显的问题，还有一些潜在的坑需要注意，咱们一步步来搞定：

1. 未完成的XPath查询语句 #

你写的//div[@id='ex...明显没写完，这肯定会导致XPath查询直接失败。首先得确定你要提取的目标div的准确属性（比如id或者class）。以你提供的CS225课程页面为例，打开页面后用浏览器开发者工具（F12）定位你要的内容，右键选择「复制XPath」就能拿到精准的路径。

比如，如果你要提取课程详情区域的内容，对应的div的id是course-content，那么完整的XPath应该是：//div[@id='course-content']

2. 修正后的完整代码示例 #

我给你调整了代码，不仅补全了XPath，还优化了网页内容的获取方式（避免file_get_contents被服务器限制），同时增加了结果判断和异常处理：

$code = "CS225"; 
$url = "https://cs.illinois.edu/courses/profile/{$code}"; 
echo $url . "<br>";

// 用cURL替代file_get_contents，更稳定且能模拟浏览器请求
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
// 添加User-Agent，避免被服务器识别为爬虫
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36');
$html = curl_exec($ch);
curl_close($ch);

$pokemon_doc = new DOMDocument(); 
libxml_use_internal_errors(TRUE); // 禁用libxml的错误提示，避免页面不规范导致报错

if(!empty($html)){ 
    // 处理编码问题，避免解析乱码
    $pokemon_doc->loadHTML(mb_convert_encoding($html, 'HTML-ENTITIES', 'UTF-8')); 
    libxml_clear_errors(); 
    $pokemon_xpath = new DOMXPath($pokemon_doc); 

    // 替换成你实际需要的XPath路径
    $target_divs = $pokemon_xpath->query("//div[@id='course-content']"); 

    if ($target_divs->length > 0) {
        foreach ($target_divs as $div) {
            // 如果你需要完整的HTML内容，用saveHTML
            echo $pokemon_doc->saveHTML($div);
            // 如果你只需要纯文本，用nodeValue
            // echo $div->nodeValue;
        }
    } else {
        echo "找不到目标Div元素，请检查XPath路径是否正确";
    }
} else {
    echo "无法获取网页内容，请检查URL或网络连接";
}

3. 常见排查要点 #

如果还是返回空，你可以从这几个方向排查：

• XPath路径错误：再次用浏览器开发者工具验证路径，有些页面的元素可能嵌套在iframe里，或者有动态生成的属性，这种情况下需要调整XPath。
• 动态内容加载：如果目标内容是通过JavaScript动态渲染的，cURL或file_get_contents只能拿到静态HTML，这时候需要用PhantomJS、Puppeteer这类工具来抓取动态内容。
• HTML解析异常：有些网页的HTML代码不规范，DOMDocument解析时可能会忽略部分元素，你可以尝试在loadHTML前加上$pokemon_doc->recover = true;来开启修复模式。

内容的提问来源于stack exchange，提问作者Rohan Khanna