NodeJS中如何不消费readStream数据即可获取其内容编码

我有一个readStream，想要获取它的内容编码。
我已知的一种实现方式是借助detect-character-encoding模块，但该模块需要从readStream中读取chunks(Buffers)，会导致数据丢失，而后续代码逻辑中仍需要使用该readStream。
请问是否有方法可以在不丢失数据（chunk）的前提下获取readStream的编码？

方案1：预读流头部检测编码，拼接完整新流（推荐，资源占用更低） #

编码检测仅需要读取流的前几千字节就可以完成，无需消费全量数据，实现逻辑如下：

1. 先读取readStream的前10KB左右的内容用于编码检测
2. 将预读取的内容和剩余未消费的流重新拼接为一个新的完整可读流，供给后续业务逻辑使用，不会丢失任何数据

示例代码：

const { Readable } = require('stream');
const detectCharacterEncoding = require('detect-character-encoding');

// 预读取的最大字节数，10KB足够覆盖绝大多数编码的特征字段
const PRE_READ_SIZE = 10 * 1024;

async function getEncodingAndRestoreStream(originalStream) {
  const buffers = [];
  let totalLength = 0;
  let encoding = null;

  // 收集足够检测用的流片段
  for await (const chunk of originalStream) {
    buffers.push(chunk);
    totalLength += chunk.length;
    if (totalLength >= PRE_READ_SIZE) break;
  }

  // 执行编码检测
  const detectBuffer = Buffer.concat(buffers);
  const detectResult = detectCharacterEncoding(detectBuffer);
  encoding = detectResult ? detectResult.encoding : 'utf-8'; // 检测失败默认使用utf-8

  // 拼接预读内容和剩余流，生成完整的新可读流
  const restoredStream = Readable.from(
    (async function* () {
      yield detectBuffer;
      // 继续消费原始流剩余内容
      for await (const chunk of originalStream) {
        yield chunk;
      }
    })()
  );

  return { encoding, stream: restoredStream };
}

// 调用示例
const { encoding, stream } = await getEncodingAndRestoreStream(yourReadStream);
// 后续直接使用stream即可，包含完整的原始数据

方案2：使用流分叉方法实现全量双消费 #

如果你使用的是Node.js v16及以上版本，可以直接用内置的tee()方法将原始可读流分裂为两个独立的可读流，两个流都会收到完整的原始数据：

• 其中一个流用来喂给编码检测工具消费
• 另一个流直接供给后续业务逻辑使用

示例代码：

const detectCharacterEncoding = require('detect-character-encoding');

// 将原始流分叉为两个完全独立的流
const [detectStream, businessStream] = yourReadStream.tee();

// 消费detectStream检测编码
const detectBuffers = [];
detectStream.on('data', chunk => detectBuffers.push(chunk));
detectStream.on('end', () => {
  const detectResult = detectCharacterEncoding(Buffer.concat(detectBuffers));
  const encoding = detectResult ? detectResult.encoding : 'utf-8';
  // 此处可获取编码结果
});

// 后续直接使用businessStream即可，不受编码检测逻辑影响

额外优化提示 #

如果你的readStream来自HTTP响应，可以优先读取响应头content-type中的charset字段，大多数情况下可以直接拿到编码，无需额外检测，性能更高。

内容的提问来源于stack exchange，提问作者Mayank Patel