Google Cloud Functions环境下Puppeteer爬取时page.evaluate无返回问题

核心问题排查与修正 #

按出现概率从高到低排序，所有问题都会导致page.evaluate静默无响应：

1. 云函数入口的异步逻辑未正确传递Promise #

当前代码外层导出的MyFunc是同步函数，调用内部异步方法时没有把返回的Promise传递给云函数运行时，会导致运行时在同步代码执行完毕后直接冻结进程，所有挂起的Puppeteer异步任务被静默中断，根本无法执行到page.evaluate的通信流程。
修正时要直接把入口函数声明为异步函数，去掉两层同名函数的嵌套结构，用try/catch包裹全流程逻辑，确保运行时能感知到异步任务的执行状态。

2. Puppeteer启动缺少云容器必需的沙箱参数 #

Google Cloud Functions的容器以非root用户运行，默认的Chrome沙箱机制会拦截页面脚本执行。缺少--no-sandbox等启动参数时，浏览器虽然能触发页面导航的domcontentloaded事件，但内部JS执行上下文不会正常初始化，page.evaluate的脚本注入请求会因为上下文不匹配直接静默失败。
需要在启动参数中补充：

args: [
  '--no-sandbox',
  '--disable-setuid-sandbox',
  '--disable-dev-shm-usage',
  '--disable-gpu'
]

3. 导航等待策略与目标页面的渲染逻辑不匹配 #

当前使用waitUntil: "domcontentloaded"等待页面加载完成，但目标页面是带自定义元素（router-view、ma-serp、ma-card）的SPA应用，domcontentloaded触发时，核心业务组件根本没有完成渲染。此时执行page.evaluate，要么因为执行上下文未绑定完成请求失败，要么因为目标DOM元素不存在直接返回空数组。
修正为导航时等待networkidle2（页面网络请求基本结束），并显式等待目标元素加载完成后再执行后续逻辑：

await page.goto(url, { 
  waitUntil: "networkidle2",
  timeout: 60000 
});
await page.waitForSelector("ma-card", { timeout: 30000 });

4. 无效URL拼接导致页面无匹配内容 #

原代码中拼接URL用到的query、sort_by变量没有任何定义，最终拼接出的URL携带q=undefined、orderBy=undefined参数，页面大概率返回错误内容，不存在目标选择器对应的元素。需要从请求中正确读取参数补全URL拼接逻辑。

5. 页面console日志未转发导致“无输出”错觉 #

Puppeteer默认不会把浏览器内部的console日志同步到Node.js的日志流，在page.evaluate里写的console.log是输出到页面自身的控制台，云函数日志里根本看不到。如果需要查看页面内的日志，需要单独绑定事件转发：

page.on('console', msg => console.log("页面输出:", msg.text()));

可直接运行的修正后代码 #

const puppeteer = require('puppeteer');

exports.MyFunc = async (req, res) => {
  let browser;
  try {
    // 带云环境必需参数启动浏览器
    browser = await puppeteer.launch({
      headless: true,
      args: [
        '--no-sandbox',
        '--disable-setuid-sandbox',
        '--disable-dev-shm-usage',
        '--disable-gpu'
      ]
    });
    const page = await browser.newPage();
    // 转发页面console日志到云函数日志
    page.on('console', msg => console.log("页面输出:", msg.text()));

    // 从请求中读取参数，补全URL
    const query = req.query.q || '';
    const sort_by = req.query.orderBy || 'default';
    const url = `https://abc.redacted.com/search?q=${query}&f=&orderBy=${sort_by}&skip=0&take=10`;
    console.log("访问URL:", url);

    // 正确等待页面渲染完成
    await page.goto(url, { 
      waitUntil: "networkidle2",
      timeout: 60000 
    });
    await page.waitForSelector("ma-card", { timeout: 30000 });
    console.log("Page downloaded");

    // 执行页面内容提取
    const results = await page.evaluate(() => {
      let items = [];
      const cardElements = document.querySelectorAll(
        "#mainArea > router-view > ma-serp > div > div.results > div > compose > div > div.results > ma-card"
      );
      for (let card of cardElements) {
        const title = card.querySelector("span")?.innerText ?? "";
        items.push({ title });
      }
      return items;
    });

    res.status(200).json(results);
  } catch (err) {
    console.error("执行异常:", err);
    res.status(500).json({ error: err.message });
  } finally {
    // 确保浏览器进程被正常关闭，避免内存泄漏
    if (browser) await browser.close();
  }
}

配套配置注意事项 #

• 云函数内存配置至少设置为1GB，否则Chrome进程会因为内存不足直接崩溃，导致page.evaluate无响应
• 云函数超时时间设置为至少120秒，覆盖Puppeteer启动、页面加载、元素等待的全流程耗时

内容的提问来源于stack exchange，提问作者JDRanpariya