如何在不丢失数据的前提下读取NodeJS流并检测其编码

你原有实现的问题是：直接监听流的data事件后，流会切换为流动模式，被该事件消费的chunk不会再传递给后续的流消费者，因此会出现数据丢失的情况。可以通过以下两种方案解决：

方案1：原生流API实现（无额外依赖） #

利用Node.js流内置的pause、unshift、resume方法，读取chunk检测后再塞回流的缓冲区，后续流程可正常读取完整数据，适合仅需检测一次编码的场景：

// 先暂停流，避免自动消费数据
FileStream.pause()

// 仅监听一次data事件，拿首个chunk做编码检测
FileStream.once('data', (chunk) => {
  const charsetMatch = detectCharacterEncoding(chunk)
  console.log(charsetMatch)
  // 将读取到的chunk塞回流的内部缓冲区
  FileStream.unshift(chunk)
  // 恢复流的流动，后续流程可正常消费完整数据
  FileStream.resume()
})

// 后续的流消费逻辑不受影响，可正常拿到所有chunk
FileStream.on('data', (chunk) => {
  // 此处可拿到包括检测用chunk在内的完整数据
  console.log(chunk)
})

如果单次chunk数据量不足导致编码检测准确率低，可以累加存储前N个chunk，待数据量满足检测要求后，按读取顺序依次unshift所有存储的chunk即可。

方案2：透传转换流实现 #

利用Node.js内置的PassThrough转换流做数据透传，所有流经该流的数据都会原样传递给下游，你可以在透传流的data事件中做任意检测逻辑，不会影响数据完整性，适合需要持续监听流数据的场景：

const { PassThrough } = require('stream')

// 创建透传流，数据会原样输出
const detectStream = new PassThrough()
detectStream.on('data', (chunk) => {
  const charsetMatch = detectCharacterEncoding(chunk)
  console.log(charsetMatch)
})

// 原流先通过透传流做检测，再传递给后续处理流即可
FileStream.pipe(detectStream).pipe(你的后续处理流)

// 若用事件方式消费数据，监听detectStream的data事件即可拿到完整数据
detectStream.on('data', (chunk) => {
  console.log(chunk)
})

内容的提问来源于stack exchange，提问作者Mayank Patel