JavaScript如何对数组元素分批执行操作 适配Axios批量请求并发限制

核心逻辑是按服务端支持的最大并发数拆分请求数组，单批次内并行发起请求，批次间串行等待，既避免超过服务端处理阈值触发限流，又最大化请求效率，远高于全串行的处理速度。

完整可直接复用的实现代码 #

const axios = require('axios');
// 可根据服务端实际限制调整单批次最大并发数，此处按需求设为200
const MAX_BATCH_SIZE = 200;

/**
 * 批量发起GET请求
 * @param {Array<string>} urlArray 待请求的URL数组
 * @returns {Array} 所有请求的处理结果，顺序和原URL数组完全一致
 */
async function batchRequestUrls(urlArray) {
  const allResults = [];

  // 按批次大小拆分原数组，无需额外判断数组长度是否超过阈值，短数组自动适配为单批次
  for (let i = 0; i < urlArray.length; i += MAX_BATCH_SIZE) {
    // 截取当前批次的URL列表
    const currentBatchUrls = urlArray.slice(i, i + MAX_BATCH_SIZE);
    // 批次内所有请求并行发起，单个请求单独捕获异常，避免单请求失败导致整批崩溃
    const batchPromiseList = currentBatchUrls.map(url => 
      axios.get(url)
        .then(response => ({
          status: 'success',
          url: url,
          data: response.data
        }))
        .catch(error => ({
          status: 'fail',
          url: url,
          errorMsg: error.message
        }))
    );

    // 等待当前批次所有请求处理完成后，再执行下一批
    const batchResults = await Promise.all(batchPromiseList);
    allResults.push(...batchResults);
  }

  return allResults;
}

// 调用示例
const targetUrls = [/* 你的数千个URL */];
batchRequestUrls(targetUrls).then(results => {
  // 业务侧处理所有返回结果
  console.log('所有请求处理完成：', results);
});

方案优势 #

• 性能拉满：刚好贴合服务端的并发处理上限，没有多余的等待时间，比全串行请求效率提升近200倍
• 稳定性高：每个请求单独做异常兜底，单个URL请求失败不会影响同批次其他请求，也不会中断后续批次的执行
• 结果可控：返回的结果顺序和传入的URL数组顺序完全一致，无需额外做匹配处理
• 扩展灵活：后续调整并发阈值仅需要修改MAX_BATCH_SIZE参数即可，不需要改动核心逻辑

可选优化点 #

如果业务允许失败重试，可以在单个请求的catch逻辑中增加重试控制，比如设置最多重试2次后再返回失败结果，进一步提升请求成功率。

内容的提问来源于stack exchange，提问作者GriffsAccount