使用multer实现前端文件直传Google Cloud Storage无后端暂存

解决方案 #

你当前使用的Multer.memoryStorage()会将整个上传文件全量缓存到服务器内存，是大文件上传时内存溢出的核心原因。我们只需要调整Multer配置，将解析到的文件流直接管道传输到GCS写入流即可，全程不会在服务器落地或全量缓存文件。

完整修改代码（完全无内存缓存版）

import Multer from 'multer';
import { Storage } from '@google-cloud/storage';

// 全局初始化GCS客户端，不要放在路由内重复创建
const storage = new Storage({
  projectId: 'xxx',
  keyFilename: 'yyy'
});
const bucket = storage.bucket('bucketName');

// 自定义Multer存储引擎，文件流直接写入GCS
const gcsCustomStorage = {
  _handleFile: function (req, file, callback) {
    const targetGcsFile = bucket.file(file.originalname);
    const gcsWriteStream = targetGcsFile.createWriteStream({
      metadata: {
        contentType: file.mimetype
      },
      // 小于10M文件可关闭续传，大文件建议设为true开启断点续传
      resumable: false
    });

    // 直接将Multer解析到的文件流pipe到GCS，无本地缓存
    file.stream.pipe(gcsWriteStream)
      .on('error', (err) => callback(err))
      .on('finish', () => {
        callback(null, {
          filename: file.originalname,
          bucket: bucket.name,
          contentType: file.mimetype,
          size: gcsWriteStream.bytesWritten,
          publicUrl: `https://storage.googleapis.com/${bucket.name}/${encodeURIComponent(file.originalname)}`
        });
      });
  },
  _removeFile: function (req, file, callback) {
    bucket.file(file.filename).delete(callback);
  }
};

// 初始化Multer解析器
const multerParser = Multer({
  storage: gcsCustomStorage,
  // 根据业务需求调整文件大小上限
  limits: { fileSize: 100 * 1024 * 1024 }
});

// 上传接口
router.post('/upload', multerParser.single('uploadedFile'), async (req, res) => {
  try {
    // 走到这里时文件已经成功上传到GCS
    res.status(200).json({
      status: 200,
      message: 'Upload OK',
      fileInfo: req.file
    });
  } catch (err) {
    console.error('上传失败:', err);
    res.status(500).json({
      status: 500,
      message: '上传失败',
      error: err.message
    });
  }
});

注意事项

• 原代码中存在req.file..mimetype的笔误，已修正
• 大文件上传建议将resumable参数设为true，开启断点续传能力，避免网络波动导致上传失败
• 可根据业务需求调整文件名生成规则，比如拼接用户ID、时间戳避免同名文件覆盖
• GCS客户端初始化放在全局即可，不需要每次请求重复创建实例，减少资源浪费

内容的提问来源于stack exchange，提问作者crivella