Lambda环境下Puppeteer Chromium无法加载第三方JS渲染的广告

问题背景 #

用AWS Lambda+Chromium+Puppeteer抓取网站时，输入字符"re"后，第三方脚本example.js本该向.advertisments容器渲染广告内容，但Lambda环境里这个容器始终为空，本地Chrome完全正常。

具体排查与修复步骤 #

1. 替换不可靠的固定延迟，精准等待内容加载 #

当前代码用delay(2000ms)硬等，Lambda的网络和JS执行速度和本地差异大，固定延迟根本靠不住。而且waitForElement只等元素存在，不管里面有没有内容。

替换成以下代码：

const page = await pupBrowser.newPage()

// 监听目标请求，确认example.js或广告接口是否触发
page.on('request', (req) => {
  const reqUrl = req.url()
  if (reqUrl.includes('example.js') || reqUrl.includes('广告接口的关键词')) {
    console.log('目标请求已触发:', reqUrl)
  }
})

await page.goto('example.com', { waitUntil: 'networkidle2'})
const input = await page.$('.someInput')
await input.type('re')

// 等待广告容器内出现实际内容，而非仅等待容器存在
await page.waitForFunction(
  'document.querySelector(".advertisments").children.length > 0',
  { timeout: 10000 }
)

2. 补充Chromium启动参数，模拟真实浏览器 #

Lambda的无头浏览器容易被识别为爬虫，现有参数缺少关键的真实浏览器特征：
在原有启动参数里添加这些：

[
  // ... 你的原有参数
  '--user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"',
  '--enable-javascript',
  '--allow-third-party-cookies',
  '--disable-blink-features=AutomationControlled', // 移除自动化检测标志
  '--start-fullscreen'
]

注意：如果--disable-web-security导致跨域请求异常，可以追加--allow-cross-origin-auth-prompt辅助。

3. 提升Lambda资源，避免JS执行超时 #

Lambda默认内存/CPU不足，第三方JS可能还没执行完就被中断：

• 把Lambda函数的内存调到1GB以上（Lambda的CPU分配和内存挂钩，内存越高CPU资源越多）
• 手动触发example.js的渲染逻辑，捕获执行报错：

try {
  await page.evaluate(() => {
    // 替换为example.js实际暴露的渲染函数名
    window.exampleRenderAd();
  })
} catch (err) {
  console.error('第三方JS执行报错:', err)
}

4. 隐藏自动化特征，绕过网站检测 #

很多网站会通过navigator.webdriver识别无头浏览器，提前注入脚本屏蔽：

await page.evaluateOnNewDocument(() => {
  Object.defineProperty(navigator, 'webdriver', {
    get: () => undefined,
  })
})

调试技巧 #

• 输入后截图，查看页面实际状态：

await page.screenshot({ path: '/tmp/after_input.png', fullPage: true })

• 打印页面控制台的错误信息，定位JS执行问题：

page.on('console', (msg) => {
  if (msg.type() === 'error') {
    console.error('页面控制台错误:', msg.text())
  }
})

内容的提问来源于stack exchange，提问作者Thomas J.