Firebase Cloud Function：Puppeteer云端找不到元素但模拟器正常

问题概述 #

使用Puppeteer爬取网页数据时，本地模拟器运行完全正常，但部署到Firebase云端函数后，Puppeteer无法找到目标元素，直接终止执行。

我的代码 #

console.log('Scraping LINKS');
const browser = await getBrowser();
const page = await preparePage(browser, `URL`);
console.log('Page opened');
const handle = await page.$('.sloupec_s_inzeratama');
console.log('Finding handle');
if (!handle) {
    console.log('Can not find "sloupec_s_inzeratama"');
}
if (handle) { 
    // Do something else
}

控制台日志 #

已尝试但无效的操作 #

• 注释所有Puppeteer启动参数
• 将页面加载策略从domcontentloaded改为load或networkidle2（示例代码：await page.goto(url, {waitUntil: 'domcontentloaded'});）
• 在查找选择器前调用waitForSelector，但触发超时

调试方向与解决方案建议 #

1. 统一浏览器UA，规避反爬识别 #

云端环境的Puppeteer默认UA可能被目标网站判定为爬虫，返回无数据的页面或反爬页面。手动设置UA为常见浏览器标识：

await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36');

2. 捕获页面HTML，对比本地与云端差异 #

在无法找到元素时，打印页面完整HTML源码，和本地运行时的HTML对比，确认页面结构是否一致：

if (!handle) {
    const html = await page.content();
    console.log('Page HTML:', html);
    console.log('Can not find "sloupec_s_inzeratama"');
}

通过对比可快速判断：是页面未加载完成、被反爬拦截，还是元素选择器在云端环境中不适用。

3. 优化无头模式配置 #

Firebase云端函数中Puppeteer默认使用无头模式，部分网站会针对无头浏览器返回差异化内容。可调整无头模式参数，使其更接近正常浏览器：

const browser = await puppeteer.launch({
    headless: 'new', // 使用新版无头模式，兼容性更好
    args: [
        '--no-sandbox',
        '--disable-setuid-sandbox',
        '--disable-dev-shm-usage',
        '--disable-accelerated-2d-canvas',
        '--single-process' // 适配云端资源限制的单进程模式
    ]
});

4. 针对动态内容增加等待逻辑 #

部分页面内容通过AJAX异步加载，即使设置了networkidle2也可能因云端网络延迟导致加载未完成。可尝试：

// 等待特定接口请求完成
await page.waitForResponse(response => response.url().includes('api/inzerata') && response.ok());
// 或临时增加固定延迟（仅用于调试）
await page.waitForTimeout(3000);

5. 提升云端函数资源配置 #

Firebase云端函数默认内存/CPU限制较低，可能导致Puppeteer加载页面时资源不足，出现加载异常。尝试将函数内存配置从256MB提升至512MB或1GB，观察是否解决问题。

内容的提问来源于stack exchange，提问作者Andurit