Node.js 14.x中zlib解压S3读取的CSV报incorrect header check错误

incorrect header check 类别的Z_DATA_ERROR是zlib模块的固定校验逻辑抛出的错误：所有接入createGunzip管道的输入流，开头必须匹配gzip格式的固定魔数（前两个字节为0x1f、0x8b），如果流的开头字节不符合该结构，zlib会直接终止解压流程抛出错误。
结合已核实的S3对象内容为无压缩纯CSV文本的前提，问题本质是代码无差别给所有S3读流硬接入gzip解压管道——纯文本CSV的开头是PMonth对应的ASCII字节，完全不满足gzip的头结构要求，因此触发校验失败。

• 优先校验S3对象的返回元数据：调用S3 getObject接口时，响应头的ContentEncoding字段是判断对象是否经过gzip压缩的官方依据，正常压缩对象的该字段值为gzip，无压缩的原始文本对象该字段值为identity或空值。
• 不要依赖文件名后缀做压缩状态判断：实际生产场景中经常存在文件命名不规范的情况，哪怕文件名带.gz后缀，如果内容实际没有压缩，依然会触发同样的头校验错误。
• 检查流的错误监听逻辑：原代码没有对gunzip流绑定独立的error事件监听，一旦流处理过程抛出错误，会直接中断整个运行时流程，没有降级处理空间。

• 动态构建处理管道，取消无差别解压逻辑。调用S3接口拿到完整响应元数据后，仅当对象确实标记为gzip压缩时，才将读流接入createGunzip管道，否则直接使用原始读流做后续CSV解析，参考适配Node.js 14.x的修正代码：

// 先获取完整的S3对象元数据
const s3Obj = await s3.getObject({
  Bucket: event.Records[0].s3.bucket.name,
  Key: event.Records[0].s3.object.key
}).promise();
const rawReadStream = s3Obj.createReadStream();
// 根据元数据动态选择是否解压
const targetStream = s3Obj.ContentEncoding === 'gzip'
  ? rawReadStream.pipe(zlib.createGunzip())
  : rawReadStream;

• 给解压流程增加错误兜底。即便元数据判断逻辑出现疏漏，只要gunzip流触发解压错误，就自动降级回原始流处理，避免流程直接中断。可以在gunzip实例上绑定error事件，标记解压状态无效后切回原始流逻辑。
• 混合存储场景增加字节级校验。如果存储桶中同时存在gzip压缩和无压缩的CSV对象，且存在元数据丢失的可能，可以在读流的开头先读取前2个字节校验gzip魔数，匹配到格式再接入解压管道，比单纯依赖元数据判断的可靠性更高。

内容的提问来源于stack exchange，提问作者Rajarshi Das