Puppeteer访问大体积XML站点地图链接无响应如何获取原始文本

卡顿原因 #

你的推测是正确的，Chromium默认会将XML文件渲染为带交互效果的树形预览页面，15MB的大文件生成对应DOM的开销极高，才会导致永久卡顿。下面是三种可直接获取原始文本、绕开页面解析的方案：

方案1：复用浏览器上下文直接发起fetch请求 #

不需要调用page.goto加载页面，直接在页面执行环境中发起fetch请求，既能复用当前页面的Cookie、UA等身份信息，又不会触发页面解析渲染：

const xmlText = await page.evaluate(async (xmlUrl) => {
  const response = await fetch(xmlUrl);
  return await response.text();
}, "替换为你的XML文件地址");

15MB的文件通常几秒内即可返回结果，不需要额外配置。

方案2：请求拦截提前终止页面渲染流程 #

如果必须使用page.goto的调用形式，可以开启请求拦截，拿到XML响应后直接终止后续渲染逻辑：

await page.setRequestInterception(true);
let xmlContent = null;

page.on('request', async (req) => {
  if (req.url() === "替换为你的XML文件地址") {
    const response = await req.response();
    xmlContent = await response.text();
    req.abort(); // 终止请求，不让浏览器执行后续的解析渲染逻辑
    return;
  }
  req.continue();
});

// 因为请求被主动中断，page.goto会抛出异常，用catch吞掉即可
await page.goto("替换为你的XML文件地址").catch(() => {});

方案3：脱离Puppeteer直接发HTTP请求 #

如果不需要依赖浏览器的身份凭证（Cookie、自定义请求头等），直接用Node.js原生请求能力性能最高，完全绕开浏览器逻辑：

// 也可以替换为axios、node-fetch等第三方请求库，代码更简洁
const https = require('https');

const getXmlText = (url) => new Promise((resolve, reject) => {
  https.get(url, (res) => {
    let rawText = '';
    res.on('data', (chunk) => rawText += chunk);
    res.on('end', () => resolve(rawText));
    res.on('error', reject);
  });
});

const xmlText = await getXmlText("替换为你的XML文件地址");

内容的提问来源于stack exchange，提问作者Behlül