在Google Cloud中用Node.js及BullMQ优化Puppeteer无头浏览器池

一、核心思路 #

复用持续运行的无头Chrome实例，避免每次任务启动/关闭浏览器的开销（这部分通常占总耗时的30%-50%）。结合BullMQ的队列调度能力，让Worker从预创建的浏览器池中获取可用实例，完成HTML渲染任务后回收实例，而非销毁浏览器。

二、浏览器池实现（Node.js） #

1. 基础浏览器池类 #

实现一个BrowserPool类，负责实例的创建、复用、销毁和状态管理：

const puppeteer = require('puppeteer');

class BrowserPool {
  constructor(maxInstances = 5) {
    this.maxInstances = maxInstances;
    this.availableBrowsers = [];
    this.activeBrowsers = new Set();
    this.pendingRequests = [];
  }

  async getBrowser() {
    // 优先返回可用实例
    if (this.availableBrowsers.length > 0) {
      const browser = this.availableBrowsers.shift();
      this.activeBrowsers.add(browser);
      return browser;
    }

    // 未达上限则创建新实例
    if (this.activeBrowsers.size < this.maxInstances) {
      const browser = await puppeteer.launch({
        headless: 'new',
        args: [
          '--no-sandbox',
          '--disable-setuid-sandbox',
          '--disable-dev-shm-usage', // 解决Ubuntu下/dev/shm空间不足问题
          '--disable-gpu',
          '--single-process' // 减少内存占用（按需开启）
        ]
      });
      this.activeBrowsers.add(browser);
      return browser;
    }

    // 实例已满，等待可用实例
    return new Promise((resolve) => {
      this.pendingRequests.push(resolve);
    });
  }

  async releaseBrowser(browser) {
    // 检查浏览器是否正常，异常则直接销毁
    if (!browser.isConnected()) {
      this.activeBrowsers.delete(browser);
      return;
    }

    // 放回可用池，或处理等待队列
    this.activeBrowsers.delete(browser);
    this.availableBrowsers.push(browser);

    if (this.pendingRequests.length > 0) {
      const resolve = this.pendingRequests.shift();
      resolve(browser);
    }
  }

  // 定期清理闲置实例（可选）
  startCleanup(intervalMs = 300000) {
    setInterval(async () => {
      const now = Date.now();
      // 清理超过5分钟未使用的实例
      this.availableBrowsers = this.availableBrowsers.filter(async (browser) => {
        if (browser.lastUsed && now - browser.lastUsed > intervalMs) {
          await browser.close();
          return false;
        }
        return true;
      });
    }, intervalMs);
  }
}

module.exports = BrowserPool;

2. 结合BullMQ Worker调度任务 #

在Worker中集成浏览器池，每个任务复用浏览器实例（仅创建/销毁页面，而非浏览器）：

const { Worker } = require('bullmq');
const BrowserPool = require('./BrowserPool');

// 初始化浏览器池，根据机器配置调整maxInstances
const browserPool = new BrowserPool(4);
browserPool.startCleanup();

const worker = new Worker('render-queue', async (job) => {
  const { html, outputPath } = job.data;
  let browser = null;
  let page = null;

  try {
    // 获取浏览器实例
    browser = await browserPool.getBrowser();
    // 记录实例最后使用时间，用于后续清理
    browser.lastUsed = Date.now();

    // 创建新页面执行渲染
    page = await browser.newPage();
    await page.setContent(html, { waitUntil: 'networkidle0' });
    
    // 保存图片
    await page.screenshot({ path: outputPath, fullPage: true });

    return { success: true, outputPath };
  } catch (error) {
    return { success: false, error: error.message };
  } finally {
    // 关闭当前页面，释放资源
    if (page) await page.close();
    // 将浏览器实例放回池
    if (browser) await browserPool.releaseBrowser(browser);
  }
}, {
  connection: {
    // 配置你的Redis连接
    host: 'localhost',
    port: 6379
  }
});

worker.on('completed', (job) => {
  console.log(`任务 ${job.id} 完成`);
});

worker.on('failed', (job, err) => {
  console.log(`任务 ${job.id} 失败: ${err.message}`);
});

三、无头Chrome内存限制说明 #

1. 单实例内存占用 #

• 空实例（无页面）：无头Chrome启动后，未打开任何页面时，内存占用约150-300MB（取决于Chrome版本和启动参数）。
• 加载页面后：普通静态页面会增加100-200MB，复杂SPA/广告密集页面可能达到400-600MB。

2. Google Cloud实例适配建议 #

以常见的GCE实例为例：

• n1-standard-1（3.75GB内存）：建议最多运行4-6个无头Chrome实例（预留1GB内存给Node.js进程、系统和Redis）。
• n1-standard-2（7.5GB内存）：可运行8-12个实例。
• 注意：Ubuntu镜像下必须开启--disable-dev-shm-usage参数，避免默认/dev/shm空间不足导致Chrome崩溃。

3. 内存优化策略 #

• 启用--single-process参数（仅无头模式适用），减少多进程开销，但可能降低稳定性。
• 定期清理闲置浏览器实例（如上述startCleanup方法），避免内存泄漏。
• 监控实例内存：通过Chrome DevTools协议获取实例内存使用，超过阈值时强制销毁重建。

四、额外注意事项 #

• 页面隔离：每个任务必须创建新页面，避免不同任务的Cookie、LocalStorage等数据污染。
• 超时处理：给页面操作添加超时（如page.setDefaultTimeout(30000)），防止任务卡住占用实例。
• 异常处理：如果浏览器实例崩溃，releaseBrowser方法会自动移除该实例，后续任务会创建新实例补充。

内容的提问来源于stack exchange，提问作者Mike K.