Cloudflare Worker队列中Puppeteer持续CPU超限问题求助

问题重现 #

• API模式下测试Puppeteer爬虫逻辑完全正常
• 部署到Cloudflare队列后出现以下异常：
  • 队列处理速度骤降
  • 频繁触发CPU超限告警
  • 实时日志更新延迟严重，队列暂停处理新消息，直到触发超限的消息处理完成
• 简化代码至仅启动、关闭浏览器，仍触发CPU超限；移除Puppeteer相关代码后，队列立即恢复正常执行
• 使用官方队列爬虫示例代码，仅将KV存储操作改为console.log，问题依旧存在

可能的原因 #

1. 队列环境资源限制更严格
   Cloudflare Workers的API模式与队列模式存在资源配额差异，队列环境的CPU时间阈值可能更低，而Puppeteer启动浏览器属于高CPU开销操作，容易触发限制。
2. 重复初始化浏览器实例
   每次处理队列消息都启动全新的浏览器，重复加载Chromium内核等初始化操作会累积CPU消耗，超出单消息的CPU时间限制。
3. 重试机制加剧资源占用
   消息触发CPU超限后，队列会自动重试该消息，导致高CPU操作重复执行，形成恶性循环，进一步拖慢队列处理效率。

解决方案 #

• 复用浏览器实例
  在Worker全局作用域初始化一次浏览器，后续所有消息处理复用该实例，避免重复初始化的开销：

  // 全局作用域仅初始化一次浏览器
  let browser;
  async function getBrowser() {
    if (!browser) {
      browser = await puppeteer.launch({
        args: ['--no-sandbox', '--disable-setuid-sandbox']
      });
    }
    return browser;
  }
  
  // 队列消息处理函数
  async function processMessage(message) {
    const browser = await getBrowser();
    const page = await browser.newPage();
    try {
      // 替换为你的爬虫逻辑
      await page.goto('https://example.com');
      console.log(await page.title());
    } finally {
      await page.close(); // 仅关闭页面，保留浏览器实例
    }
    message.ack();
  }
  

• 优化队列重试策略
  在Cloudflare控制台调整队列的重试配置，增加重试间隔时间，设置最大重试次数，避免短时间内重复执行高CPU操作。
• 添加Puppeteer资源限制参数
  给Puppeteer启动命令添加更多优化参数，降低浏览器的CPU占用：

  puppeteer.launch({
    args: [
      '--no-sandbox',
      '--disable-setuid-sandbox',
      '--disable-dev-shm-usage',
      '--disable-accelerated-2d-canvas',
      '--no-first-run',
      '--no-zygote',
      '--single-process'
    ]
  });
  

• 确认Worker资源配置
  在Cloudflare控制台将Worker的CPU配额设置为最大值（当前Cloudflare Workers最大支持100ms CPU时间），确保队列模式下能获得足够资源。

官方示例的适配说明 #

不少用户反馈官方队列爬虫示例部署后也会遇到CPU超限问题，核心原因是示例中每次处理消息都新建浏览器实例。按照上述复用浏览器实例的方式修改后，该问题通常可以解决。

内容的提问来源于stack exchange，提问作者Vítor Rayan