NodeJS Promise：如何分散/放缓http.get请求？

嘿，完全不用不好意思！刚接触Node.js和Promise时，遇到并发请求的坑太常见了。你现在的问题核心就是一次性发起了太多请求——不管是目标网站触发了限流机制（返回302大概率是对方的防刷/流量限制策略），还是自己的开发服务器扛不住高并发压力，本质都是请求密度过高导致的。下面给你几种简单易上手的解决方案：

1. 串行执行请求（最适合入门的方案） #

如果你的请求数量不是特别大，直接让请求一个接一个发起就好——用async/await配合普通循环，替代一次性把所有Promise丢进Promise.all的写法。

示例代码：

// 假设你从数据库拿到的链接列表是urls数组
async function checkUrlsSerially(urls) {
  const results = [];
  for (const url of urls) {
    try {
      const response = await fetch(url); // 也可以替换成你用的axios等请求库
      results.push({ url, status: response.status });
      // 可选：每次请求后加个小延迟，进一步降低请求密度
      await new Promise(resolve => setTimeout(resolve, 500));
    } catch (err) {
      results.push({ url, error: err.message });
    }
  }
  return results;
}

// 调用逻辑
const dbUrls = await fetchFromDatabase(); // 你的数据库读取逻辑
const checkResults = await checkUrlsSerially(dbUrls);

这种方式的优势是实现简单，完全不用复杂的并发控制；缺点是如果请求数量多，总耗时会比较长，适合小批量场景。

2. 批量并发（兼顾速度和限流） #

如果想提升效率，但又不想一次性发起太多请求，可以把请求分成小批次，比如每次同时发3-5个，等这一批全部完成后再发下一批。

示例代码：

// 先写一个数组分块的工具函数
function chunkArray(arr, chunkSize) {
  const chunks = [];
  for (let i = 0; i < arr.length; i += chunkSize) {
    chunks.push(arr.slice(i, i + chunkSize));
  }
  return chunks;
}

async function checkUrlsInBatches(urls, batchSize = 3) {
  const chunks = chunkArray(urls, batchSize);
  const allResults = [];
  
  for (const chunk of chunks) {
    // 并行处理当前批次的所有请求
    const batchResults = await Promise.all(
      chunk.map(async url => {
        try {
          const response = await fetch(url);
          return { url, status: response.status };
        } catch (err) {
          return { url, error: err.message };
        }
      })
    );
    allResults.push(...batchResults);
    // 批次之间加延迟，避免连续批量请求触发限流
    await new Promise(resolve => setTimeout(resolve, 1000));
  }
  
  return allResults;
}

// 调用逻辑
const dbUrls = await fetchFromDatabase();
const checkResults = await checkUrlsInBatches(dbUrls, 5); // 每次并发5个请求

这种方式平衡了处理速度和请求密度，适合中等数量的请求场景。

3. 用第三方库做精细化限流（进阶方案） #

如果需要更灵活的并发控制（比如动态调整并发数），可以用专门的工具库，比如p-limit——它封装了复杂的并发控制逻辑，用起来非常简洁。

首先安装库：

npm install p-limit

然后使用：

const pLimit = require('p-limit');

// 限制同时运行的Promise数量为4
const limit = pLimit(4);

async function checkUrlsWithLimit(urls) {
  const tasks = urls.map(url => limit(async () => {
    try {
      const response = await fetch(url);
      return { url, status: response.status };
    } catch (err) {
      return { url, error: err.message };
    }
  }));
  
  return Promise.all(tasks);
}

// 调用逻辑
const dbUrls = await fetchFromDatabase();
const checkResults = await checkUrlsWithLimit(dbUrls);

额外小提示 #

• 302状态码不一定完全是“请求过多”，也可能是目标网站的重定向机制，你可以给请求加redirect: 'manual'选项（以fetch为例），查看原始响应确认原因；
• 开发服务器崩溃的话，记得给所有请求逻辑加上完善的错误捕获，避免单个请求的异常导致整个进程退出。

内容的提问来源于stack exchange，提问作者HenryM