基于Node.js Express实现服务器文件存储的技术问询

问题背景 #

需要在Node.js后端处理包含文件的对象数组，根据特定条件保存其中的文件，但不想依赖表单或仅支持文件上传的专用中间件。最初尝试直接将客户端的File对象传到后端再转换为Buffer失败，最终发现必须在客户端先将文件转为ArrayBuffer再发送才能成功。

客户端实现步骤 #

1. 先安装依赖：

   npm install buffer
   

2. 处理文件并构造请求数据：
   遍历对象数组，为带文件的对象添加arrayBuffer属性，异步转换文件格式后发送到后端。

   import { Buffer } from 'buffer';
   
   // 原始包含文件的对象数组
   const itemsWithFiles = [
     { id: 1, name: '报告文档', file: /* 这里是前端获取的File对象 */ },
     { id: 2, name: '图片素材', file: /* 这里是前端获取的File对象 */ }
   ];
   
   // 批量转换文件为可传输的Buffer格式
   const processItems = async () => {
     return Promise.all(itemsWithFiles.map(async item => {
       if (item.file) {
         const rawArrayBuffer = await item.file.arrayBuffer();
         const buffer = Buffer.from(rawArrayBuffer);
         return { ...item, arrayBuffer: buffer };
       }
       return item;
     }));
   };
   
   // 发送处理后的数据到后端
   processItems().then(processedItems => {
     fetch('/api/save-target-files', {
       method: 'POST',
       headers: { 'Content-Type': 'application/json' },
       body: JSON.stringify({ items: processedItems })
     });
   });
   

Node.js后端实现步骤 #

使用Node.js原生fs模块，结合业务条件筛选并保存文件：

const fs = require('fs').promises;
const path = require('path');
const express = require('express');
const app = express();

// 配置足够大的请求体限制，避免大文件上传被截断
app.use(express.json({ limit: '50mb' }));

// 处理文件保存的接口
app.post('/api/save-target-files', async (req, res) => {
  const { items } = req.body;
  const saveRootDir = path.join(__dirname, 'saved-files');

  // 确保保存目录存在，不存在则自动创建
  await fs.mkdir(saveRootDir, { recursive: true });

  try {
    for (const item of items) {
      // 这里替换成你的特定筛选条件，比如只保存id为偶数的文件
      if (item.id % 2 === 0 && item.arrayBuffer) {
        const filePath = path.join(saveRootDir, `${item.name}.${item.file.type.split('/')[1]}`);
        // 将接收到的Buffer数据写入文件
        await fs.writeFile(filePath, Buffer.from(item.arrayBuffer));
      }
    }
    res.status(200).json({ message: '符合条件的文件已完成保存' });
  } catch (error) {
    console.error('文件保存失败:', error);
    res.status(500).json({ error: '文件保存过程出错' });
  }
});

app.listen(3000, () => console.log('服务运行在3000端口'));

关键注意事项 #

• 客户端必须先将File对象转为ArrayBuffer/Buffer再发送，直接传输File对象会因无法序列化导致后端接收无效数据
• 后端需配置足够大的请求体限制，避免大文件上传时被截断
• 保存文件前要确保目标目录存在，使用fs.mkdir的recursive: true参数可自动创建多级目录
• 文件名后缀建议根据实际文件类型动态设置，避免格式错误

内容的提问来源于stack exchange，提问作者Colin