如何用PHP从含指定类名的外部页面获取文本属性？

嘿，我来帮你搞定这个需求！要从你手里的$url_array数组里的每个URL页面中，提取那些包含带唯一href属性的<a>标签的<div>元素内的文本，用PHP可以这么实现：

核心思路 #

咱们用PHP的DOMDocument来解析HTML（这可比正则靠谱多了，不会因为HTML结构小变动就失效），再配合DOMXPath精准定位目标元素，最后遍历你的URL数组逐个处理就行。

实现步骤&代码示例 #

1. 先确认环境支持 #

首先得确保你的PHP环境启用了DOM扩展（一般默认都开着），要是用curl获取页面的话，也得确认curl扩展启用——毕竟curl比file_get_contents稳定多了，还能设置请求头避免被网站当成爬虫拦下来。

2. 编写单个URL的处理函数 #

这个函数负责获取页面内容、解析DOM并提取目标文本：

function extractTargetText(string $url): array {
    $result = [];
    
    // 用CURL获取页面内容，模拟浏览器请求
    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36');
    $html = curl_exec($ch);
    $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    curl_close($ch);
    
    // 检查请求是否成功，失败就记录日志返回空结果
    if ($httpCode !== 200 || empty($html)) {
        error_log("Failed to fetch $url, HTTP code: $httpCode");
        return $result;
    }
    
    // 处理HTML编码问题，避免乱码
    $dom = new DOMDocument();
    @$dom->loadHTML(mb_convert_encoding($html, 'HTML-ENTITIES', 'UTF-8'));
    $xpath = new DOMXPath($dom);
    
    // 用XPath定位：所有包含带href属性<a>标签的div元素
    $divNodes = $xpath->query('//div[.//a[@href]]');
    
    foreach ($divNodes as $div) {
        // 两种文本提取方式选一种：
        // 1. 保留div内的HTML结构
        $htmlText = trim($dom->saveHTML($div));
        // 2. 只提取纯文本（去掉所有HTML标签）
        $plainText = trim($div->textContent);
        
        // 顺便获取对应a标签的href值（如果需要关联起来）
        $aNode = $xpath->query('.//a[@href]', $div)->item(0);
        $href = $aNode ? $aNode->getAttribute('href') : '';
        
        $result[] = [
            'href' => $href,
            'div_plain_text' => $plainText,
            'div_html_text' => $htmlText
        ];
    }
    
    return $result;
}

3. 遍历URL数组批量处理 #

把你的URL数组传进去，批量获取结果：

// 你的URL数组示例
$url_array = [
    'https://example.com/page1',
    'https://example.com/page2',
    // ... 更多URL
];

$allResults = [];

foreach ($url_array as $url) {
    $singlePageResults = extractTargetText($url);
    if (!empty($singlePageResults)) {
        $allResults[$url] = $singlePageResults;
    }
}

// 输出结果，你可以打印查看或者存入数据库
print_r($allResults);

关键注意事项 #

• 错误容错：代码里加了HTTP状态码检查和错误日志，某个URL请求失败也不会影响整个流程
• 编码问题：用mb_convert_encoding处理HTML编码，避免出现乱码
• 反爬规避：设置了模拟浏览器的User-Agent，要是遇到反爬严格的网站，还可以加延迟请求、设置Cookie等策略
• 精准定位：如果目标div有特定class/id，可以修改XPath表达式，比如//div[@class="target-box" and .//a[@href]]，这样定位更准确

内容的提问来源于stack exchange，提问作者Timppa