Node.js是否有可抓取页面静态源码外内容的网页爬虫工具？

Node.js 生态中对应这类动态页面渲染抓取需求的工具非常成熟，以下是最常用的三种方案：

• Puppeteer
  Google官方维护的无头Chrome/Chromium控制工具，完全模拟浏览器运行环境，支持所有前端渲染逻辑，是目前最普及的方案。
  对应示例代码：

  const puppeteer = require('puppeteer');
  
  async function getDynamicPage(url) {
    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    // 跳转目标页面，可配置等待网络空闲确保动态内容加载完成
    await page.goto(url, { waitUntil: 'networkidle0' });
    // 获取渲染完成的完整页面HTML，对应你之前arender()后的结果
    const html = await page.content();
    await browser.close();
    return html;
  }
  

• Playwright
  微软推出的跨浏览器自动化工具，支持Chromium、Firefox、WebKit多内核，API设计更简洁，自动等待元素加载的逻辑更友好，适合复杂场景的动态页面爬取。
  对应示例代码：

  const { chromium } = require('playwright');
  
  async function getDynamicPage(url) {
    const browser = await chromium.launch();
    const page = await browser.newPage();
    await page.goto(url, { waitUntil: 'networkidle' });
    const html = await page.content();
    await browser.close();
    return html;
  }
  

• JSDOM + Cheerio
  如果你需要更轻量的方案、不想启动完整浏览器进程，可以用纯JS实现的DOM环境JSDOM执行页面JS，再搭配Cheerio做HTML解析，性能比无头浏览器更高，不过对部分复杂前端加密、特殊JS语法的兼容性不如无头浏览器。
  对应示例代码：

  const { JSDOM } = require('jsdom');
  const cheerio = require('cheerio');
  
  async function getDynamicPage(url) {
    const dom = await JSDOM.fromURL(url, { runScripts: 'dangerously', resources: 'usable' });
    const html = dom.serialize();
    // 后续可直接用cheerio加载html做元素提取
    const $ = cheerio.load(html);
    return html;
  }
  

内容的提问来源于stack exchange，提问作者j. cole