NodeJS消费者无法接收流式Chunk数据问题排查

核心原因分析 #

1. 生产者侧：文件读取的chunk大小等于文件总大小 #

fs.createReadStream默认的highWaterMark（每次读取的最大字节数）是64KB，而你的JSON文件刚好也是64KB。这意味着文件会被一次性完整读取，生产者只会发送一个chunk，消费者自然也只会收到一次。

2. 传输层：TCP的Nagle算法合并数据包 #

即使生产者拆分了chunk，TCP协议的Nagle算法会默认将小数据包合并后再发送，减少网络传输次数。对于64KB这种不算特别大的数据，很可能被合并成一个数据包发送到消费者，导致消费者的data事件只触发一次。

3. 消费者侧：http响应流的缓冲机制 #

Node.js的http模块响应流内部有缓冲机制，如果数据到达速度快且总量不大，会一次性将缓冲的数据全部吐出，触发一次data事件。

验证与解决方案 #

验证方法 #

修改生产者的fs.createReadStream，手动指定更小的highWaterMark，强制拆分读取：

const stream = fs.createReadStream('transactions.json', { highWaterMark: 1024 }); // 每次读取1KB

这样生产者会分多次读取文件并发送chunk，消费者的data事件就会多次触发。

优化建议 #

• 如果需要确保分块传输，生产者必须显式设置更小的highWaterMark，强制拆分文件读取的chunk。
• 若消费者需要处理JSON流，不要先拼接成完整字符串再解析（除非业务需要完整JSON），可以使用专门的JSON流解析库（如JSONStream）来逐块处理结构化数据。

内容的提问来源于stack exchange，提问作者Faizul Ahemed