Node.js中如何直接将multipart上传流写入MongoDB普通存储？

核心思路 #

替换formidable默认的磁盘写入逻辑，将上传的文件字节流直接在内存中收集为完整Buffer，以BSON Binary类型写入MongoDB普通文档字段，全程不产生磁盘IO。

具体实现步骤 #

• 配置formidable禁用自动磁盘写入
  基于formidable v3+提供的fileWriteStreamHandler配置项，替换默认的本地文件写入逻辑：所有上传的文件分片直接写入内存收集器，不生成本地临时文件。
  示例代码：

  const { IncomingForm } = require('formidable');
  const { Writable } = require('stream');
  
  const formParser = new IncomingForm({
    // 自定义文件写入流，完全替代磁盘写入逻辑
    fileWriteStreamHandler: () => {
      const bufferChunks = [];
      return new Writable({
        write(chunk, encoding, callback) {
          bufferChunks.push(chunk);
          callback();
        },
        final(callback) {
          // 流结束时将所有分片拼接为完整Buffer，挂在流对象上供后续读取
          this.entireBuffer = Buffer.concat(bufferChunks);
          callback();
        }
      });
    },
    // 按小文件场景设置大小上限，避免无限制占用内存
    maxFileSize: 10 * 1024 * 1024
  });
  

• 解析表单后直接写入MongoDB
  表单解析完成后，直接从返回的文件实例上读取提前收集的Buffer，作为普通字段值写入MongoDB文档，无需处理本地文件路径。
  示例代码：

  // 示例中Mongoose模型的fileContent字段类型定义为Buffer
  formParser.parse(req, async (parseErr, fields, files) => {
    if (parseErr) throw parseErr;
    // 取到对应上传字段的文件实例
    const targetFile = files.yourUploadFieldName[0];
    // 直接获取完整文件Buffer
    const fileContent = targetFile.entireBuffer;
  
    // 直接写入MongoDB普通文档，无磁盘中转
    await FileMetadataModel.create({
      originalName: targetFile.originalFilename,
      mimeType: targetFile.mimetype,
      uploadTime: new Date(),
      // MongoDB驱动会自动将Buffer序列化为BSON Binary格式存储
      fileContent: fileContent
    });
  });
  

注意事项 #

• 必须使用formidable v3.x及以上版本，低版本不支持自定义写入流配置，无法实现无磁盘处理
• 针对小文件场景，只要单文件大小低于MongoDB单文档16MB的硬限制，完全不需要引入GridFS，普通文档存储的读写效率更高
• 全程无本地临时文件产生，无需额外的临时文件清理逻辑

内容的提问来源于stack exchange，提问作者mtyson