JS中如何结合Promise.all实现带速率限制的API批量调用
你目前遇到的所有流程失效,根源都是对Promise.all的监听逻辑理解错位:
Promise.all只会在调用的瞬间,读取传入数组里的所有Promise引用来注册状态监听,后续再往这个空数组/已初始化的数组里追加新的Promise时,完全不会被纳入监听范围。
之前接入throttled-queue失效的常见原因,要么是过早初始化了Promise.all的监听器(此时任务数组还是空的,等限流回调里把API请求的Promise推进数组时,根本接不上监听),要么是拆分了Promise的收集时机和限流执行时机,导致数组拿到的不是真实绑定API状态的Promise引用。
你目前用两层setTimeout的笨办法,本质是绕开了这个逻辑错位——必须等所有任务都按延时排完、把所有Promise都塞进数组里,才敢初始化Promise.all,但这种方式完全没必要:只要在遍历所有任务的瞬间,就把每个被限流包装过的Promise收集成完整数组,哪怕这些Promise还在队列里排队没执行,Promise.all也能正常等所有任务完成后触发回调。
只要使用throttled-queue时遵守两个原则,就能无缝和Promise.all结合,根本不需要额外的延时等待:
- 每次调用throttled-queue返回的包装执行函数时,直接把这个调用返回的Promise存入任务数组——不要等函数实际执行完再去存返回值
- 等所有任务遍历完、拿到完整的任务Promise数组后,再把数组传给
Promise.all注册监听
代码示例(和你现有代码的参数对齐,200ms间隔1个请求):
// 初始化限流规则:每200ms最多放行1个请求 var throttle = throttledQueue(1, 200); // 遍历所有任务,一次性生成完整的Promise数组 // 这里的遍历是同步完成的,所有任务会被自动按顺序排进限流队列 var taskList = evalTempQuestions.map(function(question){ // 直接返回限流包装后的执行Promise,不需要等实际执行 return throttle(function(){ // 真实API请求,这里的返回值会被throttle函数包裹成Promise返回 return knackAPI('POST', 116, 75, question.payload); }); }); // 等数组完整生成后,再注册统一监听 Promise.all(taskList) .then(function(res){ console.log('所有请求全量完成', res); }) .catch(function(err){ console.log('请求流程中断', err); });
这种写法的优势:
- 没有任何手动计算总延时的逻辑,不管任务总量是多少,都不需要额外的嵌套setTimeout
- 所有请求的执行速率完全由throttled-queue管控,不会触发API限流
Promise.all的行为和无任何限流时完全一致:只要队列里有一个请求报错,就立刻触发catch;所有请求都成功返回,就触发then,没有额外的性能损耗
注:如果当前用的throttled-queue版本不会自动返回执行结果的Promise,只需要在throttle的回调里把真实knackAPI的返回值return出去,限流函数就会自动把这个返回值包裹成对应Promise,不需要额外写包装逻辑
考虑到你提到LazyLoad加载第三方库存在兼容性局限,可以用极少代码实现同等功能的限流逻辑,完全不需要引入外部库:
/** * 生成固定间隔的限流函数 * @param {number} interval 两次请求的最小间隔(毫秒) * @returns {Function} 限流任务提交函数 */ function buildRateLimiter(interval) { const pendingQueue = []; let lastExecTime = 0; // 轻量轮询队列,按间隔执行任务 setInterval(() => { const now = Date.now(); if (pendingQueue.length > 0 && now - lastExecTime >= interval) { const task = pendingQueue.shift(); lastExecTime = now; task.resolve(task.fn()); } }, 10); // 提交任务时返回Promise,直接存入任务数组即可 return (taskFn) => new Promise((resolve) => { pendingQueue.push({ fn: taskFn, resolve }); }); } // 初始化和你之前参数一致的200ms间隔限流器 const throttle = buildRateLimiter(200); // 和之前逻辑完全一致,同步遍历生成完整任务数组 const taskList = evalTempQuestions.map((question) => { return throttle(() => knackAPI('POST', 116, 75, question.payload)); }); // 正常注册统一监听即可 Promise.all(taskList) .then(res => console.log('done')) .catch(err => console.log(err));
这种实现和你现在的setTimeout方案相比,没有了两层嵌套的延时等待,也不需要手动计算总等待时长,不管队列多长、任务多少,都能按固定间隔执行,同时完全兼容Promise.all的监听逻辑。
- 绝对不要在生成完整任务数组之前,就调用
Promise.all注册监听——这是之前所有流程失效的核心原因 - 不要把限流的执行时机和Promise的收集时机拆分,遍历所有任务生成Promise的过程是同步的,根本不需要等任务实际被执行、返回结果,只要拿到Promise的引用就算收集完成
内容的提问来源于stack exchange,提问作者ericalderman

