JavaScript递归随机触发两次问题：网页爬取递归异常求助

嘿，我来帮你排查这个递归爬取的奇怪问题！从你给出的代码片段来看，核心问题大概率出在异步操作的时机控制上，咱们一步步拆解：

问题根源分析 #

你的代码里用了request这个异步HTTP库，但递归推进的逻辑没有和异步回调绑定，很容易出现并发触发的情况：

• startSearch和scrapeData的递归调用如果在异步请求完成前就执行，会导致多个爬取任务同时启动，看起来像是“递归触发两次”；
• 当前代码中，formData.splice(0,1)的位置可能不对——如果在异步请求还没处理完就移除了待爬取项，后续可能会重复取出新的项，引发重复递归；
• 另外，你注释里的“获取待爬取URL”逻辑如果有漏洞（比如重复读取或未正确取出第一个项），也可能导致同一URL被多次传入scrapeData。

修复方案 #

我给你调整了代码，重点解决异步并发和递归时机的问题：

var baseUrl = "url.to.search", formData = []; //存储待爬取项的数组
var isScraping = false; // 加锁标记，防止同时启动多个爬取任务

function startSearch(){
    // 如果正在爬取或者没有待爬取项，直接返回
    if(isScraping || formData.length === 0){
        if(formData.length === 0) endOfSearch();
        return;
    }
    isScraping = true;
    // 正确取出第一个待爬取URL（这里替换你实际的URL获取逻辑）
    const searchUrl = formData[0]; 
    scrapeData(searchUrl);
}

function scrapeData(url) {
    console.log(url);
    if (!url){
        // 无效URL，解锁并推进递归
        isScraping = false;
        formData.splice(0,1);
        startSearch();
        return;
    }
    var user = {};
    request(url, function (err, resp, body) {
        // 先处理错误情况
        if(err){
            console.error("爬取失败:", err);
        } else {
            // 这里写你的数据解析逻辑，比如填充user对象
            // user = parseUserData(body);
        }
        
        // 关键：必须在异步回调完成后，才移除当前项、解锁并启动下一轮爬取
        formData.splice(0,1);
        isScraping = false;
        startSearch();
    });
}

关键修改点说明 #

• 加锁机制：新增isScraping标记，确保同一时间只有一个爬取任务在运行，彻底避免并发触发的重复递归；
• 异步回调绑定递归：把formData的修改和startSearch的调用移到request的回调函数里，保证只有当前爬取任务完全结束后，才会推进下一轮；
• 严谨的入口判断：startSearch开头先检查状态，防止无效的重复调用。

另外，你可以额外检查这两个点：

• 确认formData数组有没有被其他逻辑重复添加项；
• 检查startSearch是否被其他地方多次调用（比如页面加载时的重复触发）。

内容的提问来源于stack exchange，提问作者Juan Pablo Fernandez