You need to enable JavaScript to run this app. Node.js使用basic-ftp时循环内async/await失效及并发任务报错问题
优惠活动
大模型
产品
解决方案
定价
更多

Node.js使用basic-ftp时循环内async/await失效及并发任务报错问题

涉及的FTP目录结构

12341
    abc.json
    xyz.json
12342
    pqr.json
    asd.json
12343
    jkl.json
    aaa.json

现有实现

当前在Node.js脚本中,使用basic-ftp库连接FTP服务。
现有一个形如[12341,12342,12343]的文件夹数组,循环处理数组的代码如下:

async.forEachOf(fileArray, async function(data, index, callback) {
    var list2 = await client.list(data + '/');

    async.forEachOf(list2, function(data, index, callback2) {
        var data = JSON.parse(JSON.stringify(data));
        latestFiles.push(data);
        callback2();
    }, async function (err) {
        console.log("*****************************");
        console.log(latestFiles);
        callback();
    })
}, function (err) {
    console.log(err);
})

异常表现

上述代码在数组仅包含单个文件夹名时可以正常运行,但当数组包含多个文件夹时运行失败。

报错信息:

Error: User launched a task while another one is still running. Forgot to use 'await' or '.then()'?

有开发者提出疑问:代码中已经在await client.list(data+'/');处添加了await,为什么依然会触发上述报错?


原因分析

出现该报错的核心原因可以拆解为两层:

  • basic-ftp的Client实例基于单FTP连接工作,同一时间仅允许执行一个FTP请求,如果上一个请求未完成就发起新请求,就会抛出当前的并发报错。
  • 使用的经典async库forEachOf存在两个容易被忽略的设计特性:
    • 该API默认无并发上限,会一次性调用完数组所有元素的迭代函数,不会等上一个迭代项完成才启动下一个。
    • 该API完全基于回调设计,仅靠传入的callback判断任务是否完成,完全不识别async函数返回的Promise、也不会主动等待await的执行结果。

对应到代码的实际执行流程:
当fileArray包含3个文件夹时,async.forEachOf会瞬间连续调用3次外层迭代函数,每次迭代函数执行到await client.list(...)就会暂时挂起,返回pending状态的Promise。3个函数调用几乎同时触发,3个client.list()请求会被快速连续发出,此时第一个请求还在等待FTP返回结果,后续请求就触发了连接未释放的并发报错。
当fileArray仅包含1个文件夹时,因为没有并发的其他请求,所以不会触发报错。

修正方案

要保证所有FTP请求串行执行,有两种常用实现方式:

  1. 弃用第三方async库的循环,直接用原生for...of循环配合await,天然支持串行执行:
    const latestFiles = [];
    for (const dir of fileArray) {
        // 等待当前文件夹的列表请求完成,才会进入下一次循环
        const list2 = await client.list(dir + '/');
        // 遍历处理每个文件项
        for (const item of list2) {
            const data = JSON.parse(JSON.stringify(item));
            latestFiles.push(data);
        }
    }
    console.log("*****************************");
    console.log(latestFiles);
    
  2. 如果必须使用经典async库的循环,需要把原有的forEachOf替换为带并发限制的forEachOfLimit,将并发数设为1,强制串行执行:
    // 并发上限设为1,保证同一时间只有一个FTP请求在执行
    async.forEachOfLimit(fileArray, 1, function(data, index, callback) {
        client.list(data + '/').then(list2 => {
            async.forEachOf(list2, function(item, index, callback2) {
                const parsedData = JSON.parse(JSON.stringify(item));
                latestFiles.push(parsedData);
                callback2();
            }, function (err) {
                console.log("*****************************");
                console.log(latestFiles);
                callback(err);
            })
        }).catch(err => callback(err));
    }, function (err) {
        console.log(err);
    })
    
    该方案下,只有上一个迭代项完整调用callback(),才会启动下一个迭代项的执行,不会出现并发请求的问题。

内容的提问来源于stack exchange,提问作者Prashant Patil

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.16 05:24:03