Puppeteer访问MT5站点无法完整渲染页面、加载超时问题求助

• 普通浏览器访问https://trade.mql5.com/trade?servers=，数毫秒至数秒即可完成加载，正常渲染登录表单
• 同地址用Puppeteer访问时，页面持续停留在加载状态直至超时，即使编写逻辑等待#login元素渲染，依然触发超时报错
• 已尝试多种排查方案（部分调试逻辑已在代码中注释），暂无法定位问题为代码疏漏还是站点访问限制，为首次使用Puppeteer，原始实现代码如下：

const puppeteer = require("puppeteer");

const baseUrl = "https://trade.mql5.com/trade?servers=";

const getData = async () => {
  console.log(baseUrl);
  // launch pupprteer
  const browser = await puppeteer.launch({ headless: false });
  const page = await browser.newPage();
  //   await page.setDefaultNavigationTimeout(60000);
  await page.goto(baseUrl, { waitUntil: "networkidle2", timeout: 0 });
  //   await page.waitForNavigation(() =>
  //     document.querySelector("#hero-head-circle")
  //   );
  //   await page.screenshot({ path: "login.png" });
  await page.waitForSelector("#login"),
    await page.screenshot({ path: "login.png" });

  await browser.close();
};

getData();

1. 导航等待配置错误
   waitUntil: "networkidle2"的判定规则是页面并发网络请求数不超过2个且持续500ms才判定导航完成。目标站点为交易类页面，会常驻长连接、行情轮询、埋点上报等持续发起的请求，永远无法满足networkidle2的判定条件，导致page.goto方法一直挂起，后续代码根本不会执行。
2. 原生Puppeteer自动化特征被站点反爬识别
   原生Puppeteer启动时会携带大量可被检测的自动化标识（比如navigator.webdriver值为true、缺少普通浏览器的插件/运行时特征等），目标站点为金融类站点，反爬规则严格，检测到自动化访问后会主动挂起页面渲染流程。
3. 元素等待逻辑不完善
   原始代码中waitForSelector("#login")默认只等待元素存在于DOM树中，不等待元素可见，可能出现元素已在DOM中但未渲染完成、提前触发后续逻辑的异常。

• 调整导航等待规则：将goto方法的waitUntil参数改为domcontentloaded，该状态触发时页面初始DOM已解析完成，和普通浏览器感知到页面可交互的时机基本一致，不需要等待所有网络请求结束。
• 隐藏自动化特征：使用puppeteer-extra搭配stealth插件，抹除Puppeteer的自动化标识，同时添加启动参数禁用浏览器的自动化检测特征。
• 优化元素等待逻辑：给waitForSelector添加visible: true配置，等待元素实际渲染可见后再执行后续操作。

修复后的完整可运行代码：

const puppeteer = require("puppeteer-extra");
const StealthPlugin = require("puppeteer-extra-plugin-stealth");
puppeteer.use(StealthPlugin());

const baseUrl = "https://trade.mql5.com/trade?servers=";

const getData = async () => {
  console.log(baseUrl);
  const browser = await puppeteer.launch({
    headless: false,
    args: [
      "--no-sandbox",
      "--disable-blink-features=AutomationControlled",
      "--start-maximized"
    ]
  });
  const page = await browser.newPage();
  page.setDefaultNavigationTimeout(30000);
  await page.goto(baseUrl, { waitUntil: "domcontentloaded" });
  await page.waitForSelector("#login", { visible: true });
  await page.screenshot({ path: "login.png" });

  await browser.close();
};

getData();

注：运行前需要先安装依赖，执行命令npm i puppeteer puppeteer-extra puppeteer-extra-plugin-stealth即可。

内容的提问来源于stack exchange，提问作者Ebuka