PHP单域名爬虫无限循环问题解决及性能优化咨询

我来帮你搞定这个问题——不用数据库校验也能彻底解决重复链接导致的无限循环，同时给你一些实用的性能优化技巧：

一、核心解决方案：内存级URL去重 + URL标准化 #

不用数据库的关键是在内存中维护已爬取/待爬取的URL集合，同时对URL做标准化处理（避免同一个页面因为URL写法不同被重复识别）。

1. 内存级去重容器 #

用PHP的关联数组作为去重标记（键为标准化后的URL，值为布尔值表示是否已爬取），查询和标记的时间复杂度都是O(1)，几乎不影响性能。同时用数组模拟队列，实现广度优先爬取（比递归的深度优先更可控，避免栈溢出）。

2. URL标准化处理 #

同一个页面可能有多种URL写法（比如带锚点、相对路径、大小写差异），必须统一格式才能准确去重。写一个标准化函数：

function normalizeUrl($url, $baseDomain) {
    $baseParsed = parse_url($baseDomain);
    $parsed = parse_url($url);

    // 处理相对路径，转为绝对路径
    if (!isset($parsed['scheme']) || !isset($parsed['host'])) {
        $url = rtrim($baseDomain, '/') . '/' . ltrim($url, '/');
        $parsed = parse_url($url);
    }

    // 只保留当前单域名的链接，跳过外部链接
    if ($parsed['host'] !== $baseParsed['host']) {
        return false;
    }

    // 去掉锚点（#后面的内容不影响页面内容）
    unset($parsed['fragment']);

    // 统一URL格式：小写、完整路径
    $normalized = strtolower(
        (isset($parsed['scheme']) ? $parsed['scheme'] . '://' : '') .
        $parsed['host'] .
        (isset($parsed['path']) ? $parsed['path'] : '/') .
        (isset($parsed['query']) ? '?' . $parsed['query'] : '')
    );

    return $normalized;
}

3. 整合到你的爬虫流程 #

结合你用的ganon.php，修改后的核心逻辑示例：

include_once('ganon.php');
ini_set('display_errors', 1);

// 你的目标单域名
$targetDomain = 'https://your-target-domain.com';
// 已爬取URL集合（内存级）
$crawledUrls = [];
// 待爬取队列
$urlQueue = [$targetDomain];

while (!empty($urlQueue)) {
    // 取出队列第一个URL（广度优先）
    $currentUrl = array_shift($urlQueue);
    $normalizedUrl = normalizeUrl($currentUrl, $targetDomain);

    // 跳过无效链接或已爬取的链接
    if (!$normalizedUrl || isset($crawledUrls[$normalizedUrl])) {
        continue;
    }

    // 标记为已爬取
    $crawledUrls[$normalizedUrl] = true;

    // 爬取页面内容（这里可以替换为curl提升性能，后面会说）
    $htmlContent = file_get_contents($normalizedUrl);
    if (!$htmlContent) {
        continue;
    }

    // 用ganon解析页面链接
    $dom = str_get_dom($htmlContent);
    foreach ($dom->select('a[href]') as $link) {
        $href = $link->href;
        $normalizedHref = normalizeUrl($href, $targetDomain);

        // 只添加未爬取且不在队列中的链接
        if ($normalizedHref && !isset($crawledUrls[$normalizedHref]) && !in_array($normalizedHref, $urlQueue)) {
            array_push($urlQueue, $normalizedHref);
        }
    }

    // 保存到数据库（此时URL已经是唯一的，不会重复）
    savePageToDb($normalizedUrl, $htmlContent);

    // 释放DOM资源，避免内存泄漏
    $dom->clear();
}

// 你的数据库保存函数
function savePageToDb($url, $content) {
    // 这里写你的插入逻辑即可，无需再检查URL存在性
}

4. 大规模爬取的进阶方案 #

如果爬取的URL数量极大（比如百万级），内存数组可能不够用，可以改用Redis集合做去重——Redis是内存数据库，查询速度几乎和内存数组一样快，还能持久化，比关系型数据库高效太多，也符合你“不想用数据库校验”的核心诉求（Redis属于缓存级存储，不是传统业务数据库）。

二、爬虫性能优化建议 #

1. 改用并发请求 #

file_get_contents是串行请求，速度很慢，改用curl_multi或者Guzzle的并发请求，同时发起多个请求，大幅提升爬取效率。比如用curl_multi的基础示例：

// 初始化curl_multi句柄
$mh = curl_multi_init();
$handles = [];

// 批量添加请求
foreach ($batchUrls as $url) {
    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
    curl_multi_add_handle($mh, $ch);
    $handles[(int)$ch] = $url;
}

// 执行并发请求
do {
    $status = curl_multi_exec($mh, $active);
} while ($status === CURLM_CALL_MULTI_PERFORM || $active);

// 处理响应
foreach ($handles as $chId => $url) {
    $ch = curl_multi_getcontent($chId);
    // 解析内容、处理链接...
    curl_multi_remove_handle($mh, $chId);
    curl_close($chId);
}

curl_multi_close($mh);

2. 复用资源与缓存 #

• 复用curl句柄：避免每次请求都重新初始化curl，减少开销；
• DNS缓存：设置CURLOPT_DNS_CACHE_TIMEOUT为3600，避免重复解析域名；
• 启用PHP OPcache：提升PHP脚本的执行速度，减少重复编译开销。

3. 控制爬取节奏 #

• 限制请求频率：添加usleep(500000)（0.5秒）的间隔，避免被目标网站封禁IP；
• 遵守robots.txt规则：不要爬取禁止的路径，避免法律风险；
• 设置请求超时：用CURLOPT_TIMEOUT设置超时时间，避免单个请求卡住整个爬虫。

4. 减少不必要的开销 #

• 轻量DOM解析：如果只需要提取链接，用正则表达式提取<a href="...">比全量DOM解析更快（但要注意正则的准确性）；
• 内存管理：及时unset不再需要的变量（比如爬取后的HTML内容、DOM对象），避免内存占用过高；
• 异步任务：如果爬取量极大，用Swoole/Workerman实现异步爬虫，或者把任务放入Redis队列，用多个进程并行处理。

内容的提问来源于stack exchange，提问作者user9617782