Node.js应用中如何解压缩Gzip格式的HTTP响应体？

核心原因分析 #

你遇到的问题大概率是因为接收到的数据包含HTTP chunked编码的块结构——响应头明确标记了transfer-encoding: chunked，Lua过滤器发送的原始数据保留了chunked的块长度标记（十六进制数值+\r\n）和块结尾的0\r\n\r\n，而Wireshark会自动完成chunked解码，所以能直接识别Gzip数据，但你的Node.js代码直接对带chunked结构的数据解Gzip就会报错。

另外需要确认：你移除的换行符是否彻底，有没有残留的chunked标记或其他无关字节。

解决方案：先解码Chunked，再解Gzip #

方法1：同步处理（适合小文件） #

先手动解析chunked编码，提取出纯Gzip数据后再用zlib解压缩：

const fs = require('fs');
const zlib = require('zlib');

function decodeChunked(buffer) {
  const result = [];
  let offset = 0;
  while (offset < buffer.length) {
    // 定位块长度的换行符
    const newlineIdx = buffer.indexOf('\r\n', offset);
    if (newlineIdx === -1) break;
    
    // 解析十六进制的块长度
    const chunkLen = parseInt(buffer.toString('utf8', offset, newlineIdx).trim(), 16);
    if (chunkLen === 0) break; // 遇到结束块，停止解析
    
    offset = newlineIdx + 2;
    // 提取当前块的内容
    result.push(buffer.slice(offset, offset + chunkLen));
    offset += chunkLen + 2; // 跳过块内容后的\r\n
  }
  return Buffer.concat(result);
}

// 读取原始数据（确保是二进制Buffer）
const rawData = fs.readFileSync('your-data-file.bin');
// 先解码chunked
const chunkDecodedData = decodeChunked(rawData);
// 再解Gzip
zlib.gunzip(chunkDecodedData, (err, uncompressed) => {
  if (err) {
    console.error('解压缩失败:', err.message);
    return;
  }
  console.log('解压缩结果:', uncompressed.toString('utf8'));
});

方法2：流式处理（适合大文件/实时流） #

通过自定义Transform流解码chunked，再管道到gunzip流：

const fs = require('fs');
const zlib = require('zlib');
const { Transform } = require('stream');

class ChunkDecoder extends Transform {
  constructor(options) {
    super(options);
    this.remainingBuffer = null;
  }

  _transform(chunk, encoding, callback) {
    let data = this.remainingBuffer ? Buffer.concat([this.remainingBuffer, chunk]) : chunk;
    let offset = 0;

    while (offset < data.length) {
      const newlineIdx = data.indexOf('\r\n', offset);
      if (newlineIdx === -1) {
        this.remainingBuffer = data.slice(offset);
        break;
      }

      const chunkLen = parseInt(data.toString('utf8', offset, newlineIdx).trim(), 16);
      if (chunkLen === 0) {
        this.remainingBuffer = null;
        break;
      }

      offset = newlineIdx + 2;
      if (offset + chunkLen > data.length) {
        this.remainingBuffer = data.slice(offset);
        break;
      }

      this.push(data.slice(offset, offset + chunkLen));
      offset += chunkLen + 2;
    }
    callback();
  }

  _flush(callback) {
    if (this.remainingBuffer) {
      this.push(this.remainingBuffer);
    }
    callback();
  }
}

// 流式处理示例
fs.createReadStream('your-data-file.bin')
  .pipe(new ChunkDecoder())
  .pipe(zlib.createGunzip())
  .on('data', (data) => {
    console.log(data.toString('utf8'));
  })
  .on('error', (err) => {
    console.error('处理失败:', err.message);
  });

验证步骤 #

1. 用Wireshark导出已解码chunked的HTTP响应体（跟踪HTTP流后，右键选择"导出分组字节"），保存为文件。
2. 用你最初的gunzip代码直接解这个文件，如果成功，就确认是chunked编码的问题。

内容的提问来源于stack exchange，提问作者user625488