使用Node.js Request模块请求URL遭JS验证拦截，浏览器可正常访问求助

我之前也碰到过一模一样的情况！核心原因很简单：Request模块只是单纯发送HTTP请求并接收响应，它不会执行页面中的JavaScript代码。那些带JS验证的网站（比如常见的Cloudflare验证、企业级反爬逻辑），会检测请求是否来自真实浏览器——浏览器能自动执行验证脚本、完成交互后拿到真实内容，但Request做不到这些，所以返回的自然是验证页面而非你想要的内容。

下面给你几个实用的解决方案，按靠谱程度排序：

方案一：使用无头浏览器（最推荐） #

最稳妥的方式是用能模拟完整浏览器环境的工具，比如Puppeteer（基于Headless Chrome），它会像真实浏览器一样加载页面、执行JS、处理验证逻辑，完美绕过这类挑战。

先安装依赖：

npm install puppeteer

然后写个简单的示例代码：

const puppeteer = require('puppeteer');

async function getPageContent(url) {
  const browser = await puppeteer.launch({
    // 如果需要可视化调试，可以把headless设为false，会弹出浏览器窗口
    headless: 'new',
    // 有些网站会检测无头模式，加这些参数模拟正常浏览器
    args: ['--no-sandbox', '--disable-setuid-sandbox']
  });
  const page = await browser.newPage();
  
  // 设置真实Chrome的User-Agent，避免被识别为爬虫
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36');
  
  try {
    // 等待页面加载完成（包括所有JS执行完毕）
    await page.goto(url, { waitUntil: 'networkidle2' });
    // 获取完整的页面HTML内容
    const content = await page.content();
    return content;
  } catch (error) {
    console.error('获取页面内容失败:', error);
    return null;
  } finally {
    await browser.close();
  }
}

// 调用示例
getPageContent('你的目标URL')
  .then(content => {
    if (content) {
      console.log('成功拿到页面内容:', content);
    }
  });

这个方案几乎能解决所有JS验证的问题，唯一的小缺点是资源占用比Request高一点，但对于大多数场景完全够用。

方案二：模拟浏览器请求头+Cookie（仅适用于简单验证） #

如果网站的验证逻辑比较基础（只是检测User-Agent或会话Cookie），可以试试用Axios（Request已经停止维护，更推荐Axios）配合Cheerio，手动模拟浏览器的请求行为。

先安装依赖：

npm install axios cheerio

示例代码：

const axios = require('axios');
const cheerio = require('cheerio');

async function getSimplePageContent(url) {
  // 完全照搬真实Chrome的请求头
  const headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8',
    'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
    'Referer': 'https://www.google.com/' // 按需设置来源页
  };

  try {
    // 第一次请求获取验证相关的Cookie
    const firstResponse = await axios.get(url, { headers });
    // 第二次请求带上Cookie，有些网站会在第一次请求后生成验证会话
    const response = await axios.get(url, {
      headers: {
        ...headers,
        'Cookie': firstResponse.headers['set-cookie']?.join('; ') || ''
      }
    });
    const $ = cheerio.load(response.data);
    // 示例：获取页面标题
    console.log('页面标题:', $('title').text());
    return response.data;
  } catch (error) {
    console.error('请求失败:', error);
    return null;
  }
}

// 调用示例
getSimplePageContent('你的目标URL');

不过要注意，这个方法只能对付很基础的验证，如果是需要执行JS计算的复杂验证（比如Cloudflare的Turnstile），还是得用无头浏览器。

额外提示 #

• Request模块已经在2020年停止维护了，官方推荐使用Axios、Got等替代库，建议逐步迁移过去。
• 如果用Puppeteer还是遇到验证失败，可以试试puppeteer-extra插件（比如puppeteer-extra-plugin-stealth），它能帮你隐藏无头浏览器的特征，避免被网站检测到。

内容的提问来源于stack exchange，提问作者user9139688