咨询Node.js获取受限URL HTML内容的方案（注册/请求限制场景）

嘿，我来帮你搞定这个爬取HTML时遇到访问限制的问题！你用Node.js的Promise请求目标URL却拿到了“未注册用户每日查看限额已超”的提示，没法获取Firefox审查工具里看到的内容，下面针对你提到的两种场景分别给出具体解决办法：

这种情况下，核心是让你的请求带上已登录用户的身份凭证，网站才会返回完整内容。常见的实现方式有两种：

方法1：模拟登录并携带Cookie #

你可以先向网站的登录接口发送请求，获取登录后的Cookie，之后的请求都带上这个Cookie，让服务器认为你是已登录用户。这里用你正在用的request-promise举例：

var express = require('express');
var router = express.Router();
var requestPromise = require('request-promise');
var request = require('request');

// 创建Cookie容器，用来存储登录后的Cookie
const jar = request.jar();

router.get('/fetch-target', async (req, res) => {
  try {
    // 第一步：模拟登录，获取Cookie
    await requestPromise.post({
      uri: 'https://目标网站.com/login', // 替换为实际登录接口
      form: {
        username: '你的注册账号',
        password: '你的注册密码'
      },
      jar: jar, // 自动保存登录后的Cookie到jar里
      followAllRedirects: true // 处理登录后的跳转
    });

    // 第二步：用同一个Cookie容器请求目标页面
    const html = await requestPromise({
      uri: '你要爬取的目标URL',
      jar: jar // 带上登录后的Cookie
    });

    res.send(html);
  } catch (err) {
    console.error('请求出错:', err);
    res.status(500).send('请求失败');
  }
});

module.exports = router;

方法2：使用Session维持登录状态 #

如果网站用Session机制验证身份，你也可以利用request-promise的session功能，或者用axios的拦截器自动处理Cookie，原理和上面类似，核心都是保留登录后的身份凭证。

这种情况是因为未注册用户的请求额度太低，或者你的请求频率太高触发了限制，下面是几种可行的解决思路：

方法1：注册账号并使用官方认证凭证 #

很多网站对注册用户会放开更高的请求限额，甚至提供API密钥。注册后，在请求时带上密钥（通常放在请求头或者URL参数里），比如：

router.get('/fetch-target', async (req, res) => {
  try {
    const html = await requestPromise({
      uri: '你要爬取的目标URL',
      headers: {
        'Authorization': 'Bearer 你的API密钥', // 替换为实际认证方式，比如API_KEY=xxx
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36' // 模拟浏览器UA，避免被识别为爬虫
      }
    });
    res.send(html);
  } catch (err) {
    console.error('请求出错:', err);
    res.status(500).send('请求失败');
  }
});

方法2：轮换代理IP #

如果限制是基于IP的，你可以用代理IP池，每次请求换不同的IP，避免单个IP被限制。示例如下：

// 假设你有一个代理IP列表
const proxyList = [
  'http://proxy1:port',
  'http://proxy2:port',
  // 更多代理...
];

router.get('/fetch-target', async (req, res) => {
  try {
    // 随机选一个代理
    const randomProxy = proxyList[Math.floor(Math.random() * proxyList.length)];
    const html = await requestPromise({
      uri: '你要爬取的目标URL',
      proxy: randomProxy,
      headers: {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
      }
    });
    res.send(html);
  } catch (err) {
    console.error('请求出错:', err);
    res.status(500).send('请求失败');
  }
});

方法3：控制请求频率并缓存内容 #

• 增加请求间隔：如果是频率限制，每次请求前加个延迟，比如用await new Promise(resolve => setTimeout(resolve, 1000))（1秒间隔），避免短时间内大量请求。
• 缓存已获取的内容：如果目标页面内容不经常更新，把获取到的HTML存在本地文件或者数据库里，下次请求先读缓存，减少实际请求次数。

比如带延迟的请求示例：

router.get('/fetch-target', async (req, res) => {
  try {
    // 先等待1秒，避免请求太频繁
    await new Promise(resolve => setTimeout(resolve, 1000));
    const html = await requestPromise({
      uri: '你要爬取的目标URL',
      headers: {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
      }
    });
    res.send(html);
  } catch (err) {
    console.error('请求出错:', err);
    res.status(500).send('请求失败');
  }
});

内容的提问来源于stack exchange，提问作者NicolM