Docker环境下Puppeteer与页面交互时超时问题求助

问题概述 #

使用Puppeteer编写的Cookie采集脚本在本地（含无头模式）运行正常，但Docker化后访问https://www.rentalcars.com时出现页面加载超时、无法识别验证码、page.content()获取失败等问题，最终抛出ProtocolError: Runtime.callFunctionOn timed out或TimeoutError: Navigation timeout错误，而访问Google等网站无异常。核心目标是获取用于指纹识别的Reese84 Cookie。

解决方案 #

1. 调整Chromium启动参数适配Docker环境 #

Docker环境缺少完整桌面环境权限，必须添加特定参数避免沙箱、内存及GPU相关问题，同时模拟真实浏览器UA：

const browser = await puppeteer.launch({
  headless: 'new', // 使用新版无头模式，更接近真实浏览器行为
  args: [
    '--no-sandbox', // Docker环境必备，禁用沙箱
    '--disable-setuid-sandbox',
    '--disable-dev-shm-usage', // 避免/dev/shm内存不足导致崩溃
    '--disable-gpu', // Docker无GPU硬件，禁用GPU加速
    '--disable-features=VizDisplayCompositor', // 减少不必要的资源占用
    '--window-size=1920,1080', // 设置真实窗口尺寸，规避指纹识别
    '--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36' // 模拟主流浏览器UA
  ]
});

2. 优化页面加载策略与资源拦截 #

RentalCars会持续加载分析、广告类脚本，导致networkidle2永远无法触发。改用DOM加载完成后手动等待目标元素，并拦截非必要资源加快加载：

// 拦截非核心资源
await page.setRequestInterception(true);
page.on('request', (req) => {
  const blockedResourceTypes = ['image', 'media', 'font', 'stylesheet'];
  const blockedUrlKeywords = ['google-analytics', 'gtm.js', 'adservice', 'doubleclick', 'hotjar'];
  if (blockedResourceTypes.includes(req.resourceType()) || 
      blockedUrlKeywords.some(keyword => req.url().includes(keyword))) {
    req.abort();
  } else {
    req.continue();
  }
});

// 改用DOM加载完成作为等待条件，延长超时时间
await page.goto(url, {
  waitUntil: 'domcontentloaded',
  timeout: 180000 // 延长至3分钟，给页面足够时间处理反爬逻辑
});

// 手动等待核心元素（如搜索输入框），替代全局网络空闲等待
await page.waitForSelector('#search-pickup', { timeout: 60000 });

3. 补充Docker环境缺失的系统依赖 #

即使安装了官方文档提及的依赖，仍可能缺少部分Chromium运行必需的库，在Dockerfile中补充安装：

RUN apt-get update && apt-get install -y --no-install-recommends \
    libnss3 \
    libatk1.0-0 \
    libatk-bridge2.0-0 \
    libcups2 \
    libdrm2 \
    libxkbcommon0 \
    libxcomposite1 \
    libxdamage1 \
    libxfixes3 \
    libxrandr2 \
    libgbm1 \
    libasound2 \
    libpangocairo-1.0-0 \
    libpango-1.0-0 \
    libcairo2 \
    && rm -rf /var/lib/apt/lists/*

4. 强化Stealth插件反检测能力 #

确保Stealth插件启用所有反检测规避策略，针对Cloudflare等反爬系统优化：

const StealthPlugin = require('puppeteer-extra-plugin-stealth');
const stealth = StealthPlugin();
// 启用所有可用的反检测规避项
stealth.enabledEvasions = stealth.availableEvasions;
puppeteer.use(stealth);

5. 统一浏览器指纹参数 #

Reese84 Cookie依赖浏览器指纹一致性，需在Docker环境中模拟本地浏览器的语言、时区等参数：

// 设置请求头语言
await page.setExtraHTTPHeaders({
  'Accept-Language': 'en-US,en;q=0.9' // 与本地浏览器保持一致
});
// 模拟本地时区
await page.emulateTimezone('America/New_York'); // 替换为你本地的时区，如Asia/Shanghai

内容的提问来源于stack exchange，提问作者Oriol Miró