Puppeteer元素选择返回null或waitForSelector等待超时排查

• 基础代码bug：configureBrowser函数仅返回了page实例，未返回browser实例，后续执行browser.close()时会触发变量未定义错误，但该问题不会导致选择器等待超时。
• 反爬拦截：Etherscan接入了Cloudflare反爬校验，Puppeteer默认启动的无头模式带有明确的自动化工具指纹，会被直接拦截，返回验证页而非正常交易详情页。手动在本地浏览器能看到#txfeebutton元素，是因为普通浏览器没有自动化特征，可以通过校验，和Puppeteer的运行环境不一致。
• 等待配置不合理：代码中先执行goto又额外调用reload，拉长了加载链路，增加了被反爬拦截的概率；同时reload使用networkidle0作为等待触发条件，要求页面连续500ms无任何网络请求，而Etherscan页面存在持续的埋点上报、数据轮询请求，该条件几乎无法满足，会导致等待阶段就卡住。

• 修正实例返回逻辑，启动浏览器时添加基础反检测参数，隐藏自动化特征，绕过Cloudflare校验。如果需要更高的绕过成功率，可以额外引入puppeteer-extra和puppeteer-extra-plugin-stealth插件做指纹伪装。
• 移除多余的reload操作，在goto阶段直接配置加载等待条件，将networkidle0替换为门槛更低的networkidle2（允许存在2个以内的持续网络连接），搭配domcontentloaded作为触发条件。
• 给waitForSelector设置明确的超时时间，若仅需元素存在于DOM中即可操作，显式声明visible: false，避免因元素初始隐藏导致等待失败。
• 增加异常捕获逻辑，确保无论执行成功还是失败，浏览器实例都能正常关闭。

修复后可运行代码如下：

const puppeteer = require("puppeteer");

const link =
  "https://etherscan.io/tx/0xb06c7d09611cb234bfcd8ccf5bcd7f54c062bee9ca5d262cc5d8f3c4c923bd32";

async function configureBrowser() {
  const browser = await puppeteer.launch({
    headless: "new", // 使用新版无头模式，降低自动化特征辨识度
    args: [
      "--no-sandbox",
      "--disable-setuid-sandbox",
      "--disable-blink-features=AutomationControlled"
    ]
  });
  const page = await browser.newPage();
  // 配置普通浏览器UA
  await page.setUserAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36");
  // 隐藏navigator.webdriver标识
  await page.evaluateOnNewDocument(() => {
    Object.defineProperty(navigator, "webdriver", { get: () => false });
  });
  await page.goto(link, { waitUntil: ["domcontentloaded", "networkidle2"], timeout: 60000 });
  return { browser, page };
}

async function findFee(page) {
  await page.waitForSelector("#txfeebutton", { visible: false, timeout: 10000 });
  // 提取innerHTML逻辑示例
  const feeContent = await page.$eval("#txfeebutton", el => el.innerHTML);
  console.log("按钮innerHTML内容：", feeContent);
}

const setup = async () => {
  const { browser, page } = await configureBrowser();
  try {
    await findFee(page);
  } catch (err) {
    console.error("执行出错：", err);
  } finally {
    await browser.close();
  }
};

setup();

内容的提问来源于stack exchange，提问作者PeteG