能否仅通过URL将第三方HTML站点与Node.js关联并提取目标数据？

常见误区澄清 #

• 无法仅通过URL直接将第三方站点和Node.js建立类似浏览器端同源页面的“关联”，也不需要提前将第三方站点的HTML文件存放在你的项目目录下，更不需要在第三方站点插入任何代码。
• 你之前使用require('./page.html')的写法本身不符合Node.js的模块加载逻辑：require仅支持加载JS模块、JSON文件等资源，原生不支持直接加载HTML文件为DOM对象，报错属于预期行为。

可落地实现方案 #

推荐直接使用无头浏览器方案，你在浏览器控制台调试可用的提取代码几乎可以零修改复用：

1. 安装依赖puppeteer，这是Node.js对Chrome无头浏览器的封装，可以直接请求目标站点、加载完整页面内容（包括动态渲染的JS生成内容）
2. 示例代码逻辑：

const puppeteer = require('puppeteer');

(async () => {
  // 启动无头浏览器
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  // 请求目标站点
  await page.goto('https://portal.srbultras.info/#servers');
  // 直接注入你之前在浏览器控制台写好的提取代码
  const playerCount = await page.evaluate(() => {
    // 这里直接粘贴你之前调试可用的提取逻辑即可
    // 你之前写的document.querySelector等DOM操作代码都可以直接用
    return 你提取到的玩家数量结果;
  });
  console.log('获取到的玩家数量：', playerCount);
  await browser.close();
})();

如果目标站点的内容是纯静态、不需要JS渲染的，也可以用axios请求页面HTML后用cheerio解析DOM，不过需要把你之前的DOM操作代码适配为cheerio的语法，改造成本比上述方案高。

内容的提问来源于stack exchange，提问作者HappyCow