Puppeteer-Cluster中Try-catch未按预期工作问题求助

问题原因 #

Puppeteer-Cluster自带全局错误处理机制，默认会捕获任务执行中抛出的错误并终止当前任务，导致你代码里的catch块无法触发。而原生Puppeteer没有这种全局捕获机制，所以正常执行catch逻辑。

解决方案 #

1. 显式设置waitForNavigation的超时与等待参数
   默认超时逻辑可能不符合需求，显式配置后能精准控制错误触发时机，同时确保变量正确声明（比如statusCode需用let/const声明）。

2. 自定义集群错误处理器
   通过配置errorHandler，让集群捕获错误后不直接终止任务，交由自定义逻辑处理。

3. 包裹任务核心逻辑
   把任务内的完整逻辑纳入try/catch范围，避免局部错误被集群全局捕获拦截。

修改后的代码示例 #

require("dotenv").config();

(async () => {
    // 创建集群并配置自定义错误处理器
    const cluster = await Cluster.launch({
        concurrency: Cluster.CONCURRENCY_PAGE,
        maxConcurrency: 2,
        errorHandler: (err, data) => {
            console.log(`处理链接 ${data} 时出错: ${err.message}`);
        }
    });

    await cluster.task(async ({ page, data: link }) => {
        let finalUrl = "";
        let statusCode = 0;
        
        try {
            const response = await page.goto(link);
            statusCode = response.status();
            
            // 显式设置超时和导航完成条件
            await page.waitForNavigation({ 
                timeout: 5000, 
                waitUntil: 'networkidle2' 
            });
            finalUrl = await page.evaluate(() => document.location.href);
        } catch(error){
            console.log(`导航处理异常: ${error.message}`);
            finalUrl = await page.evaluate(() => document.location.href);
        }
        
        // 输出结果或后续处理
        console.log(`原始链接: ${link}, 最终URL: ${finalUrl}, 状态码: ${statusCode}`);
    });

    cluster.queue("https://example.com"); // 替换为目标链接
    await cluster.idle();
    await cluster.close();
})();

关键说明 #

• 配置errorHandler后，集群不会直接终止任务，任务内的catch块可正常触发处理局部错误。
• waitForNavigation的waitUntil参数（如networkidle2）能避免无意义的等待，减少超时触发概率。
• 所有变量使用let/const声明，避免全局变量污染引发的意外问题。

内容的提问来源于stack exchange，提问作者Piyush