Puppeteer复用浏览器与页面实例出错？求正确复用方案

问题原因 #

1. 页面实例失效：虽然page对象在代码中仍可打印，但实际可能因为浏览器闲置超时、页面崩溃或被自动回收，导致页面与浏览器的连接已断开，此时page.goto无法获取有效响应，返回null。
2. 浏览器上下文异常：长时间复用的浏览器进程可能出现内存泄漏、网络栈异常，导致后续网络请求无法正常处理，响应对象无法生成。
3. 单页面资源耗尽：同一个页面长时间使用后，缓存、DOM节点、JS上下文堆积，会引发页面响应异常，甚至出现无响应的情况。

正确复用方案 #

核心思路是复用浏览器实例，但每次任务创建新页面，既保留浏览器复用的性能优势，又避免单页面长期使用的问题：

1. 单例浏览器管理 #

维护一个全局的浏览器实例，初始化一次后复用，监听浏览器断开事件自动重置：

const puppeteer = require('puppeteer');
let browserInstance = null;

async function getBrowser() {
  if (!browserInstance) {
    browserInstance = await puppeteer.launch({
      headless: 'new',
      args: [
        '--no-sandbox',
        '--disable-setuid-sandbox',
        '--disable-dev-shm-usage', // 解决容器环境内存不足问题
        '--disable-accelerated-2d-canvas'
      ]
    });
    // 浏览器断开时自动清空实例，下次调用重新初始化
    browserInstance.on('disconnected', () => {
      browserInstance = null;
    });
  }
  return browserInstance;
}

2. 任务级页面创建与销毁 #

每次执行任务时创建新页面，任务完成后关闭页面，释放页面级资源：

async function runPageTask(targetUrl) {
  const browser = await getBrowser();
  let page = null;

  try {
    page = await browser.newPage();
    // 优化配置：禁用缓存、非必要资源加载，提升性能
    await page.setCacheEnabled(false);
    await page.setRequestInterception(true);
    page.on('request', req => {
      const blockedTypes = ['image', 'stylesheet', 'font'];
      if (blockedTypes.includes(req.resourceType())) {
        req.abort();
      } else {
        req.continue();
      }
    });

    // 带超时和重试的页面跳转
    let response = await page.goto(targetUrl, {
      waitUntil: 'networkidle2',
      timeout: 30000
    });

    // 第一次跳转失败时，尝试重新创建页面再试
    if (!response) {
      await page.close();
      page = await browser.newPage();
      response = await page.goto(targetUrl, {
        waitUntil: 'networkidle2',
        timeout: 30000
      });
      if (!response) throw new Error(`Failed to load ${targetUrl} after retry`);
    }

    // 这里可以添加业务逻辑，比如获取页面内容、状态码等
    return {
      status: response.status(),
      url: response.url()
    };
  } catch (error) {
    console.error('Task execution failed:', error);
    throw error;
  } finally {
    // 无论成功失败，都关闭当前页面
    if (page) await page.close();
  }
}

3. 额外优化建议 #

• 定时清理浏览器：对于长期运行的服务，可设置定时任务（比如每天一次）重启浏览器，避免内存泄漏积累。
• 资源限制配置：在浏览器启动时添加--memory-pressure-off、--disable-features=VizDisplayCompositor等参数，减少资源占用。
• 错误降级机制：如果连续多次出现response为null的情况，主动销毁当前浏览器实例，重新初始化，避免一直使用异常的浏览器。

内容的提问来源于stack exchange，提问作者l4m0r