Puppeteer-cluster脚本执行至第5步中断求助（Node.js环境）

你好！折腾一周还没解决这个问题确实闹心，我看了你的代码，脚本中断大概率是页面导航异常未捕获或者集群错误处理机制缺失导致的，结合你的场景整理了几个关键修复点：

1. 未捕获页面导航的异常 #

尤其是跳转到Nike官网时，这类电商站反爬机制很严，很容易返回403、超时或者加载失败。你的代码里page.goto()没有做任何错误捕获，一旦抛出异常，整个任务会直接崩溃，甚至牵连集群停止运行。

修复方案： #

给所有导航操作加上错误捕获，同时记录报错信息方便排查：

await cluster.task(async ({ page, data: url }) => {
  try {
    await page.goto('http://www.google.com/');
    await new Promise(resolve => setTimeout(resolve, 5000));
    console.log('1');
    
    // ... 中间步骤省略 ...
    
    // 给Nike的导航单独加更宽松的超时和等待策略
    await page.goto('http://www.nike.com/', {
      waitUntil: 'domcontentloaded', // 只等DOM加载完成，不用等所有资源
      timeout: 30000 // 超时时间设为30秒，避免卡太久
    });
    await new Promise(resolve => setTimeout(resolve, 5000));
    console.log('6');
    
    // ... 剩余步骤省略 ...
  } catch (err) {
    console.error(`任务执行失败: ${err.message}`);
    // 如果需要重试任务，可以抛出错误让集群自动处理
    // throw err;
  }
});

2. 去掉不必要的await console.log() #

console.log()是同步方法，加await完全多余，虽然不会导致中断，但会让代码显得冗余，直接改成：

// 替换前
await console.log('1');
// 替换后
console.log('1');

3. 配置集群的错误重试与超时机制 #

默认情况下，Puppeteer Cluster遇到任务失败不会自动重试，也不会继续执行后续任务。你可以在集群启动时加上这些配置，让脚本更健壮：

const cluster = await Cluster.launch({
  concurrency: Cluster.CONCURRENCY_CONTEXT,
  maxConcurrency: 2,
  puppeteerOptions: {headless: false},
  retryLimit: 2, // 任务失败后自动重试2次
  timeout: 60000, // 单个任务总超时时间设为60秒
});

4. 避免自定义延迟与集群包冲突 #

你用的puppeteer-cluster-delay本身就提供了任务间的延迟功能，没必要再手动用setTimeout硬编码等待。可以直接在集群启动时配置全局延迟：

const cluster = await Cluster.launch({
  // ... 其他配置
  delay: 5000, // 每个任务执行前自动等待5秒
});

额外建议：增加任务标识日志 #

如果你的实际场景是队列了大量任务，建议给每个任务加序号标识，这样能精准定位是第几个任务出了问题：

// 队列任务时传入序号
await cluster.queue({ index: 1 });
await cluster.queue({ index: 2 });
// ... 更多任务 ...

// 在task中打印当前任务序号
await cluster.task(async ({ page, data }) => {
  console.log(`开始执行第${data.index}个任务`);
  // ... 后续操作 ...
});

按照上面的方案调整后，应该能解决脚本中断的问题。如果还是不行，一定要看终端里的错误输出，那是定位问题最直接的线索。

内容的提问来源于stack exchange，提问作者nobdefender