为何Puppeteer的page.goto()抛出超时错误？特定URL异常排查

我来帮你拆解这个问题——你遇到的Navigation Timeout Exceeded错误只针对https://www.gatsbyjs.com，其他URL正常，核心原因基本是这个站点的特性和你当前Puppeteer配置/版本的冲突，具体分析和解决办法如下：

可能的错误原因 #

• networkidle0等待条件过于严格：GatsbyJS官网是动态渲染的单页应用，会加载一些持续运行的监控、分析类脚本，这些脚本可能会发起周期性的小请求。而networkidle0要求完全没有网络连接持续500ms，这些残留请求会一直阻止这个条件满足，直到超时。其他站点大概率没有这类长期挂起的请求，所以能正常触发导航完成。
• Puppeteer版本过旧：你用的1.19.0是2019年的老版本，配套的Chromium内核版本也很低，对现代前端站点（比如Gatsby这类基于React的新架构站点）的兼容性不足，可能存在导航逻辑的bug或者渲染延迟。
• 站点的反爬/无头浏览器检测：GatsbyJS官网可能针对无头浏览器做了限制，会故意延迟页面加载或者阻止正常导航流程，导致Puppeteer一直等不到导航完成的信号。

可行的解决方案 #

1. 调整导航等待条件 #

把waitUntil从严格的networkidle0换成更宽松的选项：

• 用networkidle2：允许最多2个网络连接，足够兼容Gatsby站点的残留请求

  const response = await page.goto("https://www.gatsbyjs.com", { waitUntil: "networkidle2", timeout: 60000 });
  

• 用domcontentloaded：DOM结构加载完成就停止等待，适合只需要页面基本结构的场景

  const response = await page.goto("https://www.gatsbyjs.com", { waitUntil: "domcontentloaded", timeout: 60000 });
  

2. 升级Puppeteer版本 #

1.19.0的兼容性问题太多，建议升级到最新的稳定版（比如v20+），新版本会同步更新Chromium内核，修复大量现代站点的适配bug，能从根本上减少这类导航超时问题。

3. 模拟真实浏览器环境（应对反爬） #

如果是站点的无头浏览器检测导致的，可以添加一些参数让Puppeteer更像真实浏览器：

const browser = await puppeteer.launch({
  headless: "new", // 新版无头模式更接近真实浏览器，或者直接设为false打开可视化窗口
  args: ['--window-size=1280,720'],
  defaultViewport: { width: 1280, height: 720 }
});
await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36');

4. 临时延长超时时间（应急方案） #

如果上面的方法暂时没法试，可以先把超时时间调大，比如timeout: 120000（120秒），但这只是治标，还是建议从前面的方案入手解决根本问题。

内容的提问来源于stack exchange，提问作者Misha Moroshko