Node.js+Electron网页爬虫递归函数完成状态检测问题

嘿，你的问题我太熟悉了——这种爬虫跑起来停不下来、不知道什么时候结束的情况，十有八九是没做URL去重或者异步任务跟踪失效导致的。深度设到3-4时，爬虫大概率陷入了重复爬取循环链接的死胡同，或者有一堆没被正确追踪的异步请求在后台挂着，让程序没法正常结束。下面给你一套能直接落地的解决方案：

核心改进方向 #

• 用Set存储已爬取的URL，彻底杜绝重复请求
• 借助Promise.all精准跟踪每一层级的所有异步爬取任务
• 设计明确的结束判断逻辑，当所有层级任务都完成时主动触发通知

重构后的爬取函数示例 #

const axios = require('axios');
const cheerio = require('cheerio'); // 假设你用cheerio解析HTML

// 全局存储已爬取URL，避免重复爬取
const crawledUrls = new Set();
// 跟踪所有待完成的异步任务，确保没有遗漏
let pendingTasks = [];

async function crawlPage(url, currentDepth, maxDepth, targetKeywords) {
  // 终止条件：超过最大深度或已爬取过该URL
  if (currentDepth > maxDepth || crawledUrls.has(url)) {
    return [];
  }

  crawledUrls.add(url);
  console.log(`正在爬取：${url}（当前深度：${currentDepth}）`);

  try {
    const response = await axios.get(url);
    const $ = cheerio.load(response.data);
    const pageResults = [];

    // 保留你原有的关键词位置检测逻辑
    targetKeywords.forEach(keyword => {
      const matchedElements = $(`*:contains("${keyword}")`);
      if (matchedElements.length > 0) {
        pageResults.push({
          url,
          keyword,
          matchCount: matchedElements.length,
          depth: currentDepth
        });
      }
    });

    // 提取页面内的有效链接（仅处理绝对路径）
    const pageLinks = [];
    $('a').each((_, elem) => {
      const link = $(elem).attr('href');
      if (link && link.startsWith('http')) {
        pageLinks.push(link);
      }
    });

    // 递归爬取下一层级，用Promise.all跟踪该层级所有任务
    if (currentDepth < maxDepth) {
      const layerTasks = pageLinks.map(link => 
        crawlPage(link, currentDepth + 1, maxDepth, targetKeywords)
      );
      pendingTasks.push(...layerTasks);
      const layerResults = await Promise.all(layerTasks);
      pageResults.push(...layerResults.flat());
    }

    return pageResults;
  } catch (error) {
    console.error(`爬取失败：${url}`, error.message);
    return [];
  }
}

// 爬虫入口函数，带完成回调
async function startCrawl(startUrl, maxDepth, targetKeywords, onComplete) {
  // 每次启动前重置跟踪状态
  crawledUrls.clear();
  pendingTasks = [];

  const allResults = await crawlPage(startUrl, 1, maxDepth, targetKeywords);
  // 等待所有异步任务彻底完成，确保没有遗漏
  await Promise.all(pendingTasks);
  
  // 触发完成回调，返回最终结果
  onComplete(allResults.flat());
}

// 使用示例
startCrawl(
  'https://example.com',
  4,
  ['爬虫', 'Node.js'],
  (finalResults) => {
    console.log('✅ 爬取全部完成！');
    console.log('最终结果：', finalResults);
    // 这里可以把结果传给Electron渲染进程，或者更新UI状态
  }
);

额外优化建议 #

• 控制并发请求数：深度高、链接多时，大量并发请求容易被目标网站封禁，也会拉高内存占用，可以用p-limit这类库限制同时运行的请求数
• 处理相对路径：示例只处理了绝对路径，你可以用new URL(link, url).href把相对路径转为绝对路径，避免遗漏有效链接
• Electron进程通信：如果在主进程爬取，完成后可以用ipcMain.send把结果发送给渲染进程，让前端显示“爬取完成”的状态

这样修改后，你就能精准掌控爬虫的结束时机，再也不会出现无限运行的情况啦。

内容的提问来源于stack exchange，提问作者Sajid Ansari