如何在Node.js/Express中通过GridFS将API返回的文件Buffer存入MongoDB

你之前的思路错误点在于：multer是专门用于处理Express接口收到的multipart/form-data格式的表单上传请求的中间件，你已经从外部API拿到了现成的文件Buffer，完全不需要引入multer，直接调用MongoDB原生的GridFS操作API即可完成存储。

实现步骤 #

1. 初始化GridFS桶

全局只需要初始化一次即可，放在MongoDB连接成功的回调逻辑中：

const mongoose = require('mongoose');
const { GridFSBucket } = require('mongodb');

// 全局GridFS桶实例
let gridFSBucket;
mongoose.connection.once('open', () => {
  gridFSBucket = new GridFSBucket(mongoose.connection.db, {
    bucketName: 'fileBucket' // 自定义桶名称，会自动生成对应集合
  });
});

2. 封装Buffer存储方法

直接将拿到的文件Buffer写入GridFS即可：

/**
 * 存储文件Buffer到GridFS
 * @param {Buffer} fileBuffer 外部API返回的文件字节数据
 * @param {String} fileName 自定义文件名（如xxx.pdf）
 * @param {String} mimeType 文件MIME类型，PDF对应application/pdf
 * @returns {Promise<Object>} 存储成功的文件元数据，包含可用于关联的_id字段
 */
async function addFileDataToDB(fileBuffer, fileName, mimeType) {
  return new Promise((resolve, reject) => {
    // 创建上传流
    const uploadStream = gridFSBucket.openUploadStream(fileName, {
      contentType: mimeType,
      // 可自定义添加额外元数据
      metadata: {
        source: 'external_api',
        uploadTime: new Date()
      }
    });

    // 写入Buffer
    uploadStream.end(fileBuffer);

    // 事件监听
    uploadStream.on('finish', fileDoc => resolve(fileDoc));
    uploadStream.on('error', err => reject(err));
  });
}

3. 调用示例

// 你从外部API获取文件Buffer的逻辑
const fileBuffer = await requestExternalApiForFile();
// 存入GridFS
const fileInfo = await addFileDataToDB(fileBuffer, '业务报告.pdf', 'application/pdf');
// 建议将fileInfo._id存入你的业务集合，用于后续关联查询文件
console.log('文件存储成功，关联ID为：', fileInfo._id);

拓展：读取GridFS文件为Buffer #

后续需要取出文件时可以用这个方法：

async function getFileBufferById(fileId) {
  return new Promise((resolve, reject) => {
    const chunks = [];
    // 注意fileId需要转成MongoDB ObjectId类型
    const downloadStream = gridFSBucket.openDownloadStream(new mongoose.Types.ObjectId(fileId));
    downloadStream.on('data', chunk => chunks.push(chunk));
    downloadStream.on('end', () => resolve(Buffer.concat(chunks)));
    downloadStream.on('error', reject);
  });
}

注意事项 #

• 小于16MB的文件也可以直接存在普通MongoDB集合的Buffer类型字段中，超过16MB的文件必须使用GridFS存储
• GridFS会自动生成{桶名}.files和{桶名}.chunks两个集合，分别存储文件元数据和文件分片，无需手动创建
• 存储成功返回的_id是文件的唯一标识，务必关联到你的业务数据中，后续查询、下载都需要用到该ID

内容的提问来源于stack exchange，提问作者tchris