Puppeteer-Cluster始终仅占用半数CPU核心问题求助

问题场景 #

配置如下Puppeteer集群：

const cluster = await Cluster.launch({
    concurrency: Cluster.CONCURRENCY_PAGE, // maximize sharing data between jobs
    maxConcurrency: 8,
    monitor: true
})

在Mac OS Ventura（2019款8核i7）、Node.js v16.19.0环境下，仅4个核心CPU使用率飙升，调高maxConcurrency、调整并发模型、自定义Chrome参数均无法提升整体CPU利用率。

原因分析与解决方法 #

• Node.js线程池限制：Node.js默认libuv线程池大小为4，会限制Chrome底层异步I/O操作的并发数，进而拖累CPU利用率。通过以下方式扩大线程池：

  # 终端启动时设置环境变量
  export UV_THREADPOOL_SIZE=8
  

  或在代码开头添加：

  process.env.UV_THREADPOOL_SIZE = 8;
  

• Chrome进程资源限制：MacOS对进程组资源存在隐性限制，可通过Chrome启动参数调整：

  const cluster = await Cluster.launch({
      concurrency: Cluster.CONCURRENCY_PAGE,
      maxConcurrency: 8,
      monitor: true,
      puppeteerOptions: {
          args: [
              '--disable-features=site-per-process', // 降低进程隔离开销
              '--max-processes=8', // 允许更多Chrome子进程
              '--no-sandbox' // 非生产环境可添加，减少权限限制
          ]
      }
  })
  

• 线程亲和性调整：MacOS可能存在线程绑定问题，用taskpolicy调整进程调度策略：

  # 启动脚本时强制利用多核心
  taskpolicy -b node your-script.js
  

  或针对运行中的Node进程：

  taskpolicy -b -p <Node进程PID>
  

• 并发模型切换：Cluster.CONCURRENCY_PAGE模式下页面进程开销较高，尝试切换为上下文级并发：

  const cluster = await Cluster.launch({
      concurrency: Cluster.CONCURRENCY_CONTEXT,
      maxConcurrency: 8,
      monitor: true
  })
  

验证方式 #

调整后通过Activity Monitor观察Chrome子进程数量及CPU核心占用，同时用cluster.idle()确认任务队列执行效率。

内容的提问来源于stack exchange，提问作者Emmanuel Schanzer