PHP使用simple_html_dom按指定class筛选div爬取网页方法

你当前编写的代码存在几个核心问题，会导致匹配失败、取到冗余内容甚至程序报错：

1. 采用div[class="完整类名字符串"]的精确匹配逻辑，只要目标div的class属性存在多余空格、类顺序调整、新增其他关联类名，就会完全匹配不到，容错性极差
2. 拿到目标容器后直接查找所有内层div，会把多层嵌套的无关div也纳入结果，输出大量冗余文本
3. 缺少请求、元素查找的判空逻辑，页面请求失败、站点结构微调时会直接抛出致命错误
4. 未做内存释放，批量抓取时容易触发内存溢出

正确实现代码 #

<?php
include('simple_html_dom.php');

$day = 1;
// 发起页面请求
$html = file_get_html('https://sport.sky.de/bundesliga-spielplan-ergebnisse-'.$day);
if (!$html) {
    exit('页面请求失败，请检查网络或目标站点反爬规则');
}

// 用CSS类选择器匹配目标容器，和前端CSS写法一致，匹配包含指定所有类的div元素，不受类顺序、空格、额外类名影响
$matchListContainer = $html->find('div.sdc-site-fixres__match-cell.sdc-site-fixres__match-cell--score', 0);
if (!$matchListContainer) {
    $html->clear();
    unset($html);
    exit('未找到目标赛事容器，站点前端结构可能已调整');
}

// 按需筛选子元素：如果需要特定内容的子div，追加对应类选择器即可，不要无差别查找所有div减少冗余
// 示例：如果要提取所有赛事行，替换为对应子元素的类选择器即可
$matchItems = $matchListContainer->find('div');
foreach ($matchItems as $item) {
    $text = trim($item->plaintext);
    // 过滤空内容节点
    if (strlen($text) > 0) {
        echo $text;
        echo "<br>";
    }
}

// 释放DOM对象内存，避免simple_html_dom的内存泄漏问题
$html->clear();
unset($html);
?>

关键注意事项 #

• 类名筛选优先使用.类名的CSS选择器写法：div.classA.classB会匹配所有同时包含classA、classB两个类的div元素，稳定性远高于class属性全值匹配
• 所有find()方法的返回结果必须做判空：目标站点可能随时调整前端结构、触发反爬拦截，直接调用空对象的方法会导致程序崩溃
• 若出现请求失败、匹配不到元素的情况，先输出$html整体内容排查：默认file_get_contents请求没有带浏览器UA，很容易被站点反爬拦截返回403/验证页，这种情况需要自定义请求上下文添加正常浏览器的请求头
• simple_html_dom使用后必须释放内存：该组件存在全局内存驻留的已知问题，每次DOM解析完成后必须调用clear()方法释放资源，不要省略该步骤

内容的提问来源于stack exchange，提问作者lolich