ExpressJS读取请求体为4K对齐二进制块的最佳实践是什么

首先明确你关心的read(size)方法的行为约定：Node.js官方对Readable.read(size)的行为有明确规范，只要流内部缓冲区的累计可读数据量大于等于指定的size参数，就会返回恰好size大小的Buffer；仅当缓冲区数据不足、或流已经到达结束边界时，才会返回小于size的Buffer或null。你测试中观察到的「除末尾外所有读取均返回4K块」的表现是稳定可预期的，不需要自行实现残余数据拼接逻辑，这部分工作已经由流的内部缓冲区自动完成。

前置注意事项 #

• 你的Express路由不能挂载express.json()、express.urlencoded()、express.text()这类会解析请求体的中间件，否则原始二进制流会被提前消费并转码，无法拿到正确的原始二进制数据。

方案1：基于readable事件的轻量实现 #

就是你第二种思路的完善版本，仅需要额外处理流结束后的收尾逻辑即可，代码简单高效：

// 该路由不要加任何请求体解析中间件
app.post('/your-interface', (req, res) => {
  req.on('readable', () => {
    let chunk;
    while (null !== (chunk = req.read(4096))) {
      // chunk为4K对齐的原始Buffer，直接执行你的处理逻辑即可
      // 直接操作Buffer不要转字符串，即可避免编码转换问题
      processChunk(chunk);
    }
  });

  req.on('end', () => {
    // 所有数据读取完成，执行全局收尾逻辑
    res.end('处理完成');
  });

  req.on('error', (err) => {
    // 处理流读取错误
    res.status(500).end('处理失败');
  });
});

方案2：基于Transform流的标准化实现 #

如果你的处理逻辑需要支持背压、或者后续要和其他流操作（比如写本地文件、加密传输）组合，更推荐用Node.js内置的stream模块实现，可维护性和稳定性更强：

const { Transform } = require('stream');
const { pipeline } = require('stream/promises');

// 定义4K分块的转换流
const 4kChunkTransform = new Transform({
  readableHighWaterMark: 4096,
  writableHighWaterMark: 4096,
  transform(chunk, encoding, callback) {
    this.push(chunk);
    callback();
  }
});

app.post('/your-interface', async (req, res) => {
  try {
    await pipeline(
      req,
      4kChunkTransform,
      async function* (source) {
        for await (const chunk of source) {
          // chunk为4K对齐的原始Buffer，直接处理即可
          processChunk(chunk);
        }
      }
    );
    res.end('处理完成');
  } catch (err) {
    res.status(500).end('处理失败');
  }
});

两种方案都不需要自行实现数据拼接逻辑，也不会出现编码转换问题。如果业务仅需要简单分块处理，方案1足够轻量高效；如果需要更复杂的流操作能力，推荐用方案2，符合Node.js流的最佳实践，也能更好地处理高并发场景下的背压问题。

内容的提问来源于stack exchange，提问作者Michael