如何在Node.js中模拟浏览器执行GET请求返回HTML内的客户端JavaScript代码

你的推测是正确的：Axios、Postman属于纯HTTP客户端，仅负责收发HTTP报文，不会完成浏览器的HTML解析、DOM树构建、JavaScript执行等逻辑，因此页面内的自动提交脚本无法触发。

方案1：使用无头浏览器模拟完整浏览器行为（推荐，适配复杂JS逻辑场景） #

使用Puppeteer工具，它是Chrome官方出品的无头浏览器Node.js SDK，可以1:1还原浏览器的页面加载、JS执行、交互动作逻辑。

• 安装依赖：npm i puppeteer
• 示例代码：

const puppeteer = require('puppeteer');

async function simulateFormSubmit() {
  // 启动无头浏览器
  const browser = await puppeteer.launch();
  // 打开新标签页
  const page = await browser.newPage();
  // 访问你的index.html服务地址，页面加载后会自动执行内置JS触发表单提交
  await page.goto('http://你的服务地址/index.html');
  // 等待表单提交完成后的页面跳转，可自定义超时时间
  await page.waitForNavigation();
  
  // 可选：获取提交后的响应数据、页面内容等
  const finalPageContent = await page.content();
  console.log(finalPageContent);

  // 关闭浏览器
  await browser.close();
}

simulateFormSubmit();

说明：该方案无需手动解析表单，所有页面内的JS逻辑都会按照浏览器规则执行，适用于页面逻辑复杂、有动态生成表单/加密参数等场景

方案2：手动解析表单模拟提交（轻量，适用于简单场景） #

如果页面逻辑仅为固定表单自动提交，不需要执行其他复杂JS，可以手动提取表单参数后发送POST请求，性能开销远低于无头浏览器方案。

• 安装依赖：npm i axios cheerio
• 示例代码：

const axios = require('axios');
const cheerio = require('cheerio');

async function manualSimulateSubmit() {
  // 第一步：请求获取index.html文本
  const htmlRes = await axios.get('http://你的服务地址/index.html');
  const html = htmlRes.data;
  // 第二步：用cheerio解析DOM提取表单参数
  const $ = cheerio.load(html);
  const form = $('#form');
  const actionUrl = form.attr('action');
  // 提取所有表单字段的键值对
  const formData = {};
  form.find('input, select, textarea').each((_, el) => {
    const name = $(el).attr('name');
    const value = $(el).val() || '';
    if (name) formData[name] = value;
  });
  // 第三步：发送POST请求模拟表单提交
  const submitRes = await axios.post(actionUrl, formData, {
    headers: { 'Content-Type': 'application/x-www-form-urlencoded' }
  });
  // 提交后的响应数据
  console.log(submitRes.data);
}

manualSimulateSubmit();

说明：该方案不会执行页面JS，如果表单参数是JS动态生成的，该方案会失效，需要切换到方案1

内容的提问来源于stack exchange，提问作者Zac Waite