Node.js：如何通过Multer实现文件同时上传至本地存储与AWS S3？

我来帮你搞定这个需求！目前你的代码只能选择一种存储引擎，要实现同时上传到本地和S3，我们可以通过两种实用的思路来实现，下面是具体的方案和代码示例：

方案一：先上传本地，再同步到S3 #

这种方法先通过multer把文件存到本地目录，然后读取本地文件再上传到S3，适合处理大文件（避免内存占用过高）：

完整代码示例 #

首先保留你原有的存储配置，然后修改上传路由的逻辑：

const fs = require('fs');
const multer = require('multer');
const aws = require('aws-sdk');

// 本地存储配置
const fileStorage = multer.diskStorage({ 
  destination: function(req, file, cb) { 
    cb(null, "./public/uploads"); 
  }, 
  filename: function(req, file, cb) { 
    // 建议添加时间戳避免同名文件覆盖
    cb(null, `${Date.now()}-${file.originalname}`); 
  } 
}); 

// AWS S3配置
aws.config.update({ 
  secretAccessKey: process.env.SECRET_KEY, 
  accessKeyId: process.env.ACCESS_KEY, 
  region: "us-east-1" 
}); 
const s3 = new aws.S3(); 

// 创建本地存储的multer实例
const localUpload = multer({ storage: fileStorage }).array('userPhoto', 10); 

router.post('/postimages', function(req, res) { 
  localUpload(req, res, function(err) { 
    if (err) {
      return res.status(500).json({ error: `本地上传失败：${err.message}` });
    }

    // 遍历所有上传的文件，同步到S3
    const s3UploadPromises = req.files.map(file => {
      // 读取本地文件内容
      const fileContent = fs.readFileSync(file.path);
      // S3上传参数
      const s3Params = {
        Bucket: process.env.BUCKET_NAME,
        Key: file.filename, // 和本地文件名保持一致
        Body: fileContent
      };

      // 返回S3上传的Promise
      return s3.upload(s3Params).promise();
    });

    // 等待所有文件完成S3上传
    Promise.all(s3UploadPromises)
      .then(s3Results => {
        console.log('所有文件已成功同步到本地和S3');
        res.status(200).json({ 
          message: '上传成功', 
          localFiles: req.files.map(f => f.path),
          s3Uploads: s3Results.map(r => r.Location)
        });
      })
      .catch(s3Err => {
        console.error('S3同步失败:', s3Err);
        res.status(500).json({ error: `S3同步失败：${s3Err.message}` });
      });
  }); 
});

方案二：内存存储并行处理（更高效） #

这种方法用multer的内存存储直接获取文件Buffer，同时执行本地写入和S3上传，不需要额外的本地文件读取操作，适合中小文件：

完整代码示例 #

const fs = require('fs');
const path = require('path');
const multer = require('multer');
const aws = require('aws-sdk');

// AWS S3配置（和之前一致）
aws.config.update({ 
  secretAccessKey: process.env.SECRET_KEY, 
  accessKeyId: process.env.ACCESS_KEY, 
  region: "us-east-1" 
}); 
const s3 = new aws.S3(); 

// 使用内存存储获取文件Buffer
const memoryStorage = multer.memoryStorage();
const memoryUpload = multer({ storage: memoryStorage }).array('userPhoto', 10); 

router.post('/postimages', function(req, res) { 
  memoryUpload(req, res, function(err) { 
    if (err) {
      return res.status(500).json({ error: `内存存储处理失败：${err.message}` });
    }

    // 并行处理本地写入和S3上传
    const processPromises = req.files.map(file => {
      const fileName = `${Date.now()}-${file.originalname}`; // 避免同名覆盖

      // 本地写入的Promise
      const localWritePromise = new Promise((resolve, reject) => {
        const localFilePath = path.join('./public/uploads', fileName);
        fs.writeFile(localFilePath, file.buffer, (writeErr) => {
          if (writeErr) reject(writeErr);
          else resolve({ localPath: localFilePath });
        });
      });

      // S3上传的Promise
      const s3UploadPromise = s3.upload({
        Bucket: process.env.BUCKET_NAME,
        Key: fileName,
        Body: file.buffer
      }).promise();

      // 并行执行两个操作
      return Promise.all([localWritePromise, s3UploadPromise]);
    });

    Promise.all(processPromises)
      .then(allResults => {
        console.log('所有文件已同时上传到本地和S3');
        res.status(200).json({ 
          message: '上传成功',
          results: allResults.map(([localRes, s3Res]) => ({
            localPath: localRes.localPath,
            s3Url: s3Res.Location
          }))
        });
      })
      .catch(processErr => {
        console.error('上传处理失败:', processErr);
        res.status(500).json({ error: `上传处理失败：${processErr.message}` });
      });
  }); 
});

关键注意事项 #

• 记得引入fs和path模块（如果还没引入的话）
• 建议给文件名添加时间戳或唯一标识，避免同名文件被覆盖
• 如果处理超大文件，优先选择方案一（内存存储可能导致内存溢出）
• 一定要处理错误分支，避免请求挂起或返回不明确的错误信息

内容的提问来源于stack exchange，提问作者Sesuraj P