使用Curl与simple_html_dom解析网页时出现PHP内部500错误求助

我之前用Curl搭配simple_html_dom从网站提取时间表、课程和教师信息，代码本来运行正常，最近突然抛出500内部服务器错误，相关代码片段如下：

function parse($curl){ 
    $html=new simple_html_dom(); 
    $html->load($curl); 
    $legend=$html->find('div.mainpage',0)->children(6);//legenda 
    $table=$html->find('div.mainpage',0)->children(3);//table body 
    echo $table->outertext; 
    echo $legend->outertext; 
    echo "<p>"; 
    foreach ($html->find('td.rozvrh-pred')as $subject) {
        // 后续处理逻辑
    }
}

针对这个问题，我整理了几个实用的排查和解决方向：

1. 补全Curl请求头，模拟真实浏览器 #

很多网站会通过请求头识别爬虫，之前可能没限制，现在服务器加了校验。建议给Curl添加完整的请求头，比如：

// 初始化Curl时添加这些配置
$ch = curl_init($targetUrl);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36');
curl_setopt($ch, CURLOPT_REFERER, $targetUrl);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_COOKIE, '这里放浏览器访问时的Cookie内容'); // 如果需要登录态的话
$curl = curl_exec($ch);

// 别忘了加Curl错误捕获
if(curl_errno($ch)) {
    die('Curl请求出错: ' . curl_error($ch));
}
curl_close($ch);

2. 检查目标网站的反爬机制是否更新 #

先手动用浏览器访问目标页面，看看是否需要登录、验证码，或者页面结构有没有变化。如果IP被封禁，试试换个网络环境；如果需要会话Cookie，就把浏览器里的Cookie复制到Curl的CURLOPT_COOKIE参数里。

3. 验证Curl返回的内容是否正常 #

500错误可能是服务器返回了错误页面，而不是你需要的HTML。在$html->load($curl)之前，先打印$curl的内容：

var_dump($curl);
exit;

如果返回的是500错误的HTML页面，那问题出在服务器端（可能是你的请求被拦截，或者网站本身故障）；如果返回空，那就是Curl请求没拿到数据，需要检查请求配置。

4. 避免硬编码DOM节点索引 #

你代码里用children(6)、children(3)这种固定位置的方式，一旦网站更新页面结构，节点位置变了就会报错。建议改用更稳定的选择器，比如根据class或id定位：

// 比如legend如果有专属class，直接用class选择器
$legend = $html->find('div.mainpage .legend-class', 0);
// 表格同理，用对应的class或标签组合
$table = $html->find('div.mainpage table.rozvrh-table', 0);

5. 添加节点存在性检查 #

在操作DOM节点之前，先判断节点是否存在，避免因为找不到节点引发致命错误：

$mainpage = $html->find('div.mainpage', 0);
if(!$mainpage) {
    die('未找到mainpage容器');
}

$legend = $mainpage->children(6);
if($legend) {
    echo $legend->outertext;
} else {
    echo '未找到legend节点';
}

$table = $mainpage->children(3);
if($table) {
    echo $table->outertext;
} else {
    echo '未找到table节点';
}

内容的提问来源于stack exchange，提问作者tino_kranec