部署后Firebase Cloud Function调用Puppeteer无法获取数据

你的Firebase Cloud Function本地运行正常，但部署后返回空数组，核心原因大概率是云端环境与本地环境的页面渲染/加载差异或反爬机制拦截，以下是具体排查方向和修复方案：

1. 页面加载不充分，元素未渲染完成 #

本地网络和设备性能下，waitUntil: "load"足以让页面渲染完成，但云端服务器的网络延迟、页面加载速度可能更慢，导致执行page.evaluate时目标元素还未生成。

修复方案： #

• 调整页面加载等待策略，改用networkidle2（等待网络连接数稳定在2个以下，更适合动态页面）
• 显式等待目标元素出现后再执行提取逻辑

修改后的辅助函数示例：

async function extractTechnicalActionsTradingView(page) {
  await page.goto(`https://www.tradingview.com/symbols/ADX-DRIVE/technicals/`, {
    waitUntil: "networkidle2", // 替换原load策略
    timeout: 2 * 60 * 1000
  });

  // 显式等待目标行元素加载完成，超时1分钟
  await page.waitForSelector('.row-hvDpy38G', { timeout: 60000 });

  const data1d = await page.evaluate(() => {
    const rows = document.querySelectorAll(".row-hvDpy38G");
    console.log("实际获取到的行数：", rows.length); // 调试用，部署后可在Cloud Logs查看

    const data = [];
    for (let i = 0; i < rows.length; i++) {
      const row = rows[i];
      const nameEl = row.querySelector(".cell-hvDpy38G:nth-child(1)");
      const actionEl = row.querySelector(".cell-hvDpy38G:nth-child(3)");
      // 增加空值判断，避免DOM元素不存在导致报错
      if (nameEl && actionEl) {
        data.push({
          name: nameEl.textContent.trim(),
          action: actionEl.textContent.trim()
        });
      }
    }
    return data;
  });

  return data1d;
}

2. 无头浏览器被反爬机制识别 #

TradingView可能会检测无头浏览器环境，返回简化版页面或空内容。云端的Puppeteer默认是无头模式，容易被识别。

修复方案： #

• 配置浏览器参数，模拟真实浏览器环境
• 添加用户代理、视口等信息

修改主函数中的浏览器启动配置：

const browser = await puppeteer.launch({
  headless: "new",
  args: [
    "--no-sandbox", // Firebase环境需要禁用沙箱
    "--disable-setuid-sandbox",
    "--disable-dev-shm-usage", // 解决云端内存限制问题
    "--disable-accelerated-2d-canvas",
    "--no-first-run",
    "--no-zygote"
  ],
  defaultViewport: { width: 1920, height: 1080 }, // 设置桌面端视口
});

// 额外设置用户代理，模拟Chrome浏览器
await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36');

3. 调试云端DOM结构 #

如果上述方案无效，需要确认云端实际获取的页面内容是否和本地一致：

调试步骤： #

• 在page.evaluate中添加代码，将页面HTML打印到日志：

const pageHtml = await page.evaluate(() => document.body.innerHTML);
console.log("页面HTML内容片段：", pageHtml.slice(0, 1000)); // 打印前1000字符

• 查看Cloud Functions日志，对比本地页面的DOM结构，确认选择器是否有效（比如类名是否被动态修改）

4. 资源泄漏与函数收尾 #

原代码未关闭浏览器，可能导致云端资源占用异常，建议在函数结束前关闭浏览器：

try {
  const actions = await extractTechnicalActionsTradingView(page);
  console.log("Success");
  console.log("Actions:", actions);
} catch (error) {
  console.error("Error: ", error);
  console.log("An error occurred");
} finally {
  await browser.close(); // 确保浏览器关闭
}

内容的提问来源于stack exchange，提问作者Hadi El-Amin