PHP网页爬取：无法获取新数据时如何读取存储的历史数据？

核心逻辑 #

爬取目标页面后，优先验证目标数据的有效性：

• 若目标元素存在且长度符合要求（>100），则更新存储的历史数据并返回
• 若页面处于登出状态（无有效数据）或请求失败，直接读取历史数据；无历史数据时返回默认值避免报错

实现步骤与代码示例 #

1. 依赖工具 #

使用PHP内置的DOMDocument和DOMXPath解析页面（比单纯判断页面总长度更精准），用文件存储历史数据（也可替换为数据库）。

2. 完整代码 #

<?php
// 配置项
$targetUrl = 'http://your-company-server.com/target-page'; // 替换为目标页面URL
$historyFile = './count_history.txt'; // 历史数据存储路径
$targetSelector = '//div[@class="count"]'; // 替换为你的目标元素XPath选择器
$validLength = 100; // 有效内容长度阈值

// 1. 爬取页面内容，处理请求异常
$pageContent = @file_get_contents($targetUrl);
if ($pageContent === false) {
    $result = file_exists($historyFile) ? file_get_contents($historyFile) : '暂无有效数据';
    echo $result;
    exit;
}

// 2. 解析页面，定位目标元素
$dom = new DOMDocument();
@$dom->loadHTML($pageContent); // 抑制HTML解析警告
$xpath = new DOMXPath($dom);
$targetNode = $xpath->query($targetSelector)->item(0);

// 3. 判断有效性并处理数据
if ($targetNode) {
    $nodeHtml = $dom->saveHTML($targetNode);
    if (strlen($nodeHtml) > $validLength) {
        // 有效数据：更新历史记录并返回
        $currentData = trim($targetNode->nodeValue);
        file_put_contents($historyFile, $currentData);
        echo $currentData;
    } else {
        // 无效数据：读取历史
        $result = file_exists($historyFile) ? file_get_contents($historyFile) : '暂无有效数据';
        echo $result;
    }
} else {
    // 未找到目标元素：读取历史
    $result = file_exists($historyFile) ? file_get_contents($historyFile) : '暂无有效数据';
    echo $result;
}
?>

关键细节说明 #

• 精准判断有效性：不用页面总长度，而是定位到目标元素后判断其HTML长度，避免登出页面其他内容干扰判断
• 异常处理：用@抑制file_get_contents和loadHTML的非致命警告，同时判断返回值，避免请求或解析失败时报错
• 边界情况处理：当无历史数据时返回默认文本，避免空值输出导致的报错
• 存储扩展：如果需要更高可靠性，可将文件存储替换为MySQL/Redis，只需修改数据读写部分的逻辑

内容的提问来源于stack exchange，提问作者user22086655