Node.js中文件系统访问的排队处理最佳实践

核心思路是按数据ID维护独立的操作队列——只有针对同一ID的读写操作需要排队等待，不同ID的操作可以并行执行，既解决冲突问题，又不会浪费性能。

具体实现步骤 #

在你的文件管理类中，通过一个Map存储每个ID对应的待完成操作Promise，再用通用包装函数处理排队逻辑：

import * as fs from 'fs/promises';

class ArchiveManager {
  // 存储每个ID对应的最新操作Promise，用于后续操作排队
  private pendingOps = new Map<string, Promise<void>>();

  // 通用排队包装函数：处理同一ID的操作串行执行
  private async queueOperation<T>(id: string, operation: () => Promise<T>): Promise<T> {
    // 获取当前ID的上一个操作，无则用已完成的Promise
    const prevOp = this.pendingOps.get(id) ?? Promise.resolve();
    
    // 新操作：等待上一个完成后执行当前逻辑
    const newOp = prevOp
      .then(operation)
      .finally(() => {
        // 操作完成后清理队列，避免内存泄漏
        if (this.pendingOps.get(id) === newOp) {
          this.pendingOps.delete(id);
        }
      });
    
    // 更新当前ID的最新操作Promise
    this.pendingOps.set(id, newOp as Promise<void>);
    
    return newOp;
  }

  // 包装后的保存方法
  async saveArchiveData(id: string, data: any): Promise<void> {
    return this.queueOperation(id, async () => {
      // 实际磁盘写入逻辑，示例：
      await fs.writeFile(`./archives/${id}.dat`, JSON.stringify(data));
    });
  }

  // 包装后的读取方法
  async getArchiveData(id: string): Promise<any> {
    return this.queueOperation(id, async () => {
      // 实际磁盘读取逻辑，示例：
      const rawData = await fs.readFile(`./archives/${id}.dat`, 'utf8');
      return JSON.parse(rawData);
    });
  }
}

关键细节说明 #

• 独立队列：每个ID对应自己的操作链，不同ID的操作完全不互相阻塞，性能最优。
• 错误不中断队列：用finally确保无论操作成功还是失败，都会清理队列，后续操作依然能正常执行。
• 内存泄漏防护：操作完成后，若当前ID的最新操作就是已完成的这个，就从Map中删除，避免无用数据占用内存。

额外优化建议 #

• 若担心等待时间过长，可给queueOperation添加超时逻辑，用Promise.race结合超时Promise实现。
• 若服务为多实例集群部署，内存级队列无法跨实例生效，需用分布式锁（如基于Redis的锁）实现跨实例操作排队。

内容的提问来源于stack exchange，提问作者Ferb300