Node.js环境下HTTP文件上传最佳实践咨询及问题排查

一、解决文件仅部分写入的问题 #

你当前代码的核心问题在于手动解析multipart表单的逻辑漏洞，以及错误处理二进制数据的方式：

1. request.setEncoding('utf8')会把二进制文件（比如图片、视频）强制转成UTF-8编码，直接破坏文件结构；
2. data事件是分块触发的，你每次都用当前块的shorterData覆盖之前的数据，最后只写入了最后一块内容；
3. 手动处理表单边界、内容截取的逻辑极易出错，比如边界字符串匹配、内容起止位置计算都可能有偏差。

最优解决方案：用成熟中间件替代手动解析 #

推荐用multer（Node.js生态最常用的文件上传中间件），它能自动处理分块数据、文件解析、流式写入，完全避免手动解析的坑。

步骤1：安装multer

npm install multer

步骤2：重构服务端代码

const http = require('http');
const url = require('url');
const multer = require('multer');
const path = require('path');
const crypto = require('crypto');

// 配置文件存储规则：自定义路径+随机文件名（避免重名和路径攻击）
const storage = multer.diskStorage({
  destination: (req, file, cb) => {
    cb(null, './dir'); // 确保dir目录已创建，可提前用fs.mkdirSync('./dir', { recursive: true })
  },
  filename: (req, file, cb) => {
    // 生成16位随机字符串+原文件扩展名
    crypto.randomBytes(16, (err, buf) => {
      if (err) return cb(err);
      const ext = path.extname(file.originalname);
      cb(null, buf.toString('hex') + ext);
    });
  }
});

// 初始化上传实例：限制文件大小、类型
const upload = multer({
  storage,
  limits: { fileSize: 10 * 1024 * 1024 }, // 限制10MB以内
  fileFilter: (req, file, cb) => {
    // 只允许图片、PDF等安全类型
    const allowedTypes = ['image/jpeg', 'image/png', 'application/pdf'];
    if (allowedTypes.includes(file.mimetype)) {
      cb(null, true);
    } else {
      cb(new Error('仅支持JPG/PNG/PDF文件'));
    }
  }
});

const httpServer = http.createServer((request, response) => {
  const uri = url.parse(request.url).pathname;
  if (uri === '/upload.xjs') {
    // 处理单文件上传，对应客户端formData里的"file"字段
    upload.single('file')(request, response, (err) => {
      if (err) {
        response.writeHead(400);
        response.end(JSON.stringify({ error: err.message }));
        return;
      }
      response.writeHead(200);
      response.end(JSON.stringify({ message: '上传成功' }));
    });
  } else {
    response.writeHead(404);
    response.end('页面不存在');
  }
});

httpServer.listen(3000, () => {
  console.log('服务器运行在 http://localhost:3000');
});

如果坚持手动处理，必须累积所有分块数据再写入，且不能转UTF-8：

// 手动处理的简化示例（仅作参考，不推荐）
const http = require('http');
const url = require('url');
const fs = require('fs');

const httpServer = http.createServer((request, response) => {
  const uri = url.parse(request.url).pathname;
  if (uri === '/upload.xjs') {
    const body = [];
    let fileName = '';
    const boundary = request.headers['content-type'].split('boundary=')[1];

    request.on('data', (chunk) => body.push(chunk));
    request.on('end', () => {
      const fullBuffer = Buffer.concat(body);
      const parts = fullBuffer.toString().split(`--${boundary}`);

      parts.forEach(part => {
        if (part.includes('filename=')) {
          // 解析文件名
          const nameMatch = part.match(/filename="(.*)"/);
          fileName = nameMatch ? nameMatch[1] : 'unknown';
          // 提取文件内容：跳过头部，取到边界前的内容
          const contentStart = part.indexOf('\r\n\r\n') + 4;
          const contentEnd = part.lastIndexOf('\r\n--');
          const fileBuffer = fullBuffer.slice(
            part.indexOf(part) + contentStart,
            part.indexOf(part) + contentEnd
          );
          // 流式写入文件
          const writeStream = fs.createWriteStream(`dir/${fileName}`);
          writeStream.write(fileBuffer);
          writeStream.end(() => {
            response.end('上传成功');
          });
        }
      });
    });
  }
});

二、上传功能的安全性优化 #

1. 严格限制文件类型和大小 #

• 像上面multer示例那样，只允许业务需要的文件类型（比如禁止.exe、.php、.js等可执行/脚本文件）；
• 设置合理的文件大小上限，防止恶意上传大文件耗尽服务器磁盘或内存。

2. 安全处理文件名 #

• 绝对不能直接使用用户上传的文件名，避免路径遍历攻击（比如用户上传../../etc/passwd试图覆盖系统文件）；
• 用随机字符串+原扩展名的方式生成文件名，既避免重名，又防止恶意路径。

3. 配置存储目录权限 #

• 上传目录权限设为700，只有服务器进程能读写，防止其他用户非法访问；
• 不要把上传目录放在Web服务根目录下，避免上传的恶意文件被直接执行。

4. 验证请求合法性 #

• 公网服务要加CSRF令牌验证，防止跨站请求伪造；
• 可以检查请求来源的Referer头，限制仅从信任域名上传。

三、传输文件是否需要加密 #

如果你的服务部署在公网，必须用HTTPS——这是最简单可靠的传输加密方式，能防止文件在传输过程中被窃听或篡改。

如果存储的是敏感文件（比如用户隐私数据、商业机密），除了传输加密，服务器存储时也可以用AES算法对文件内容加密，即使服务器被入侵，攻击者拿到的也是加密后的文件，无法直接使用。

最佳实践总结 #

1. 放弃手动解析multipart表单，用multer/formidable等成熟中间件，减少出错概率；
2. 用流式写入处理文件，避免一次性加载大文件到内存；
3. 从文件类型、大小、文件名、目录权限多维度做安全限制；
4. 公网服务强制HTTPS，敏感文件考虑服务器端加密存储。

内容的提问来源于stack exchange，提问作者augert