Node.js使用basic-ftp时循环内async/await失效及并发任务报错问题
涉及的FTP目录结构
12341 abc.json xyz.json 12342 pqr.json asd.json 12343 jkl.json aaa.json
现有实现
当前在Node.js脚本中,使用basic-ftp库连接FTP服务。
现有一个形如[12341,12342,12343]的文件夹数组,循环处理数组的代码如下:
async.forEachOf(fileArray, async function(data, index, callback) { var list2 = await client.list(data + '/'); async.forEachOf(list2, function(data, index, callback2) { var data = JSON.parse(JSON.stringify(data)); latestFiles.push(data); callback2(); }, async function (err) { console.log("*****************************"); console.log(latestFiles); callback(); }) }, function (err) { console.log(err); })
异常表现
上述代码在数组仅包含单个文件夹名时可以正常运行,但当数组包含多个文件夹时运行失败。
报错信息:
Error: User launched a task while another one is still running. Forgot to use 'await' or '.then()'?
有开发者提出疑问:代码中已经在await client.list(data+'/');处添加了await,为什么依然会触发上述报错?
原因分析
出现该报错的核心原因可以拆解为两层:
basic-ftp的Client实例基于单FTP连接工作,同一时间仅允许执行一个FTP请求,如果上一个请求未完成就发起新请求,就会抛出当前的并发报错。- 使用的经典
async库forEachOf存在两个容易被忽略的设计特性:- 该API默认无并发上限,会一次性调用完数组所有元素的迭代函数,不会等上一个迭代项完成才启动下一个。
- 该API完全基于回调设计,仅靠传入的
callback判断任务是否完成,完全不识别async函数返回的Promise、也不会主动等待await的执行结果。
对应到代码的实际执行流程:
当fileArray包含3个文件夹时,async.forEachOf会瞬间连续调用3次外层迭代函数,每次迭代函数执行到await client.list(...)就会暂时挂起,返回pending状态的Promise。3个函数调用几乎同时触发,3个client.list()请求会被快速连续发出,此时第一个请求还在等待FTP返回结果,后续请求就触发了连接未释放的并发报错。
当fileArray仅包含1个文件夹时,因为没有并发的其他请求,所以不会触发报错。
修正方案
要保证所有FTP请求串行执行,有两种常用实现方式:
- 弃用第三方async库的循环,直接用原生
for...of循环配合await,天然支持串行执行:const latestFiles = []; for (const dir of fileArray) { // 等待当前文件夹的列表请求完成,才会进入下一次循环 const list2 = await client.list(dir + '/'); // 遍历处理每个文件项 for (const item of list2) { const data = JSON.parse(JSON.stringify(item)); latestFiles.push(data); } } console.log("*****************************"); console.log(latestFiles); - 如果必须使用经典async库的循环,需要把原有的
forEachOf替换为带并发限制的forEachOfLimit,将并发数设为1,强制串行执行:
该方案下,只有上一个迭代项完整调用// 并发上限设为1,保证同一时间只有一个FTP请求在执行 async.forEachOfLimit(fileArray, 1, function(data, index, callback) { client.list(data + '/').then(list2 => { async.forEachOf(list2, function(item, index, callback2) { const parsedData = JSON.parse(JSON.stringify(item)); latestFiles.push(parsedData); callback2(); }, function (err) { console.log("*****************************"); console.log(latestFiles); callback(err); }) }).catch(err => callback(err)); }, function (err) { console.log(err); })callback(),才会启动下一个迭代项的执行,不会出现并发请求的问题。
内容的提问来源于stack exchange,提问作者Prashant Patil
相关产品推荐
相关产品推荐

