Node.js中自定义流接入deflate后仅输出单个值的原因排查

这是个很典型的流压缩与数据缓冲机制的问题，我来帮你拆解原因和解决办法：

你的脚本出现异常有两个核心原因：

1. Zlib压缩流的缓冲特性
   deflate（属于zlib压缩流）默认会缓冲小体积数据，因为压缩算法需要积累足够的数据才能实现高效压缩。你每次push的只是单个数字的JSON字符串（比如"0"、"1"），体积太小，达不到deflate的输出阈值，所以它会一直把数据攒在缓冲区里。直到你调用read.push(null)结束流时，它才会把所有缓冲的数据一次性压缩输出——而压缩后的二进制数据在终端里显示就是乱码（比如你看到的x�）。

2. 无分隔符的连续数据格式
   你每次push的内容没有分隔符，"0""1""2"连在一起，即使压缩后解压，得到的也是0123456789，但因为压缩流的缓冲特性，根本不会分段输出中间值。

根据你的需求场景，有两种处理方式：

场景1：需要实时输出压缩后的内容 #

如果想让每个数字都实时输出，可以在创建deflate时添加flush选项，强制流每次收到数据就立刻压缩并输出，不再缓冲：

const { Readable } = require('stream');
const zlib = require('zlib');
// 添加Z_SYNC_FLUSH选项，强制每次数据进来都刷新输出
const deflate = zlib.createDeflate({ flush: zlib.constants.Z_SYNC_FLUSH });
var read = new Readable();
read._read = function () {};
read.pipe(deflate).pipe(process.stdout);
var i = 0;
const interval = setInterval(() => {
  if(i == 10) {
    read.push(null);
    clearInterval(interval);
  } else {
    read.push(JSON.stringify(i++));
  }
}, 1000);

⚠️ 注意：这种方式会降低压缩效率，因为频繁刷新会让压缩比变差，适合对实时性要求高于压缩效率的场景。

场景2：只需要保证压缩后的数据可正确还原 #

如果不需要实时输出，其实你的原始脚本压缩后的数据流是完全正确的——只是终端无法直接显示二进制压缩数据。你可以把压缩内容保存到文件，再解压验证：

第一步：修改脚本输出到文件 #

const { Readable, createWriteStream } = require('stream');
const zlib = require('zlib');
const deflate = zlib.createDeflate();
const writeStream = createWriteStream('compressed.dat');
var read = new Readable();
read._read = function () {};
read.pipe(deflate).pipe(writeStream);
var i = 0;
const interval = setInterval(() => {
  if(i == 10) {
    read.push(null);
    clearInterval(interval);
  } else {
    // 建议添加换行符作为分隔符，方便后续处理
    read.push(JSON.stringify(i++) + '\n');
  }
}, 1000);

第二步：解压文件查看内容 #

const fs = require('fs');
const zlib = require('zlib');
fs.createReadStream('compressed.dat')
  .pipe(zlib.createInflate())
  .pipe(process.stdout); // 会输出带换行的0-9，和预期一致

内容的提问来源于stack exchange，提问作者MD. Jahidul Islam