Node.js Read Stream(Base64编码)处理特定文件时挂起，无结束/错误事件

嘿，你碰到的这个Node.js流挂起的问题确实挺棘手的，我之前也遇到过类似的情况，来给你拆解下可能的原因和靠谱的解决办法：

可能的根因 #

• 稀疏文件（Sparse File）：如果这个文件是稀疏文件（就是文件系统里实际占的空间比标称大小小很多的那种文件），从偏移量0开始读的时候，Node.js底层的流处理可能卡在了文件开头的"空洞"部分，没法正确触发end事件。而把start设为1跳过开头空洞，或者调整highWaterMark改变读取块大小，就能让流正常处理剩下的内容。
• 特殊文件头格式：有些特殊文件（比如损坏的媒体文件、自定义格式的文件）的开头字节可能触发了Node.js底层fs模块的异常逻辑，导致流卡在某个状态，既不报错也不结束。跳过开头那1字节后，流就能正常跑起来了。

可行的解决办法 #

1. 强制设置合理的highWaterMark #

既然你发现设置highWaterMark能解决问题，直接在创建可读流时指定一个合适的值就行，比如：

const fs = require('fs');
const rs = fs.createReadStream(filePath, { 
  encoding: 'base64', 
  highWaterMark: 64 * 1024 // 64KB，你可以根据文件大小调整这个值
});
rs.on('data', () => { console.log('data'); });
rs.on('end', () => { console.log('end'); });
rs.on('error', e => { console.log('error', e); });

这个方法不用改读取起始位置，兼容性更好，适合大多数场景。

2. 跳过可能有问题的起始字节 #

如果确定文件开头的1字节不影响你的业务处理，可以固定设置start:1，要是需要完整的文件内容，记得手动补上开头的字节：

const fs = require('fs');

// 先读取开头1字节
fs.read(filePath, Buffer.alloc(1), 0, 1, 0, (err, bytesRead, buf) => {
  if (err) {
    console.log('error reading first byte', err);
    return;
  }
  // 读取剩余内容
  const rs = fs.createReadStream(filePath, { 
    encoding: 'base64', 
    start: 1 
  });
  
  let fullContent = buf.toString('base64');
  rs.on('data', (chunk) => {
    fullContent += chunk;
    console.log('data received');
  });
  rs.on('end', () => {
    console.log('end');
    // 这里可以处理完整的fullContent
  });
  rs.on('error', e => console.log('error', e));
});

3. 排查文件本身的问题 #

你可以用命令行工具检查文件是不是稀疏文件：

• Linux/macOS下执行：ls -ls ${filePath}，如果第二列的实际占用大小远小于第三列的文件标称大小，那就是稀疏文件。
• Windows下执行：fsutil sparse queryflag ${filePath}，如果返回Sparse flag is set，说明是稀疏文件。
  要是确认是稀疏文件，可以用fallocate（Linux）或者fsutil sparse setflag /disable（Windows）来填充文件空洞，之后再用流读取应该就能正常触发end事件了。

内容的提问来源于stack exchange，提问作者Jan.J