Node.js Crypto与macOS sha256sum的SHA256哈希不匹配问题

那个e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855哈希值其实是空输入的SHA256结果，这说明你的crypto模块计算的是空内容的哈希——本质问题是你在计算哈希时用到的unBuffer并没有正确获取到解压后的有效数据，甚至可能是undefined。

可能的原因拆解 #

1. request模块的自动解压行为
   request模块默认会检查响应的Content-Encoding头，如果是gzip或deflate，会自动帮你解压响应内容。这就导致你通过stream.on('data')拿到的已经是解压后的JSON数据，而非原始的gzip压缩包。此时再用zlib.gunzip去解压，必然会报错，unBuffer就会是undefined，后续计算哈希自然得到空输入的结果。

2. request返回字符串而非Buffer
   request默认会根据响应的Content-Type自动转换编码，返回字符串而非二进制Buffer。如果chunks数组里存的是字符串，Buffer.concat(chunks)会把每个字符串转成Buffer，但这样拼接出来的gzip数据已经被破坏，解压后可能出错，导致unBuffer为空。

3. 未处理解压错误
   你的代码里没有处理zlib.gunzip的error参数，一旦解压失败，你根本不会察觉，只会继续用unBuffer（此时为undefined）去计算哈希和写入磁盘。

修复方案 #

方案1：修正现有代码，确保拿到原始gzip数据并处理错误

修改request的配置，禁用自动解压，强制返回二进制Buffer：

const https = require('request-promise-native');
const request = require('request');
const zlib = require('zlib');
const crypto = require('crypto');
const fs = require('fs').promises; // 用promise版本更规范

const getList = async (list) => {
  // 获取元数据
  const meta = await https(`https://example.com/${list}.meta`);
  const metaHash = meta.match(/sha256:(.+)$/im)[1].trim().toLowerCase();

  // 下载原始gzip文件，确保拿到二进制Buffer，禁用自动解压
  const chunks = [];
  const file = await new Promise((resolve, reject) => {
    const stream = request(`https://example.com/${list}.json.gz`, {
      encoding: null, // 强制返回Buffer
      gzip: false // 禁用自动解压
    });

    stream.on('data', chunk => chunks.push(chunk));
    stream.on('error', reject);
    stream.on('end', () => {
      const buffer = Buffer.concat(chunks);
      zlib.gunzip(buffer, (error, unBuffer) => {
        if (error) {
          return reject(`解压失败: ${error.message}`);
        }

        // 计算哈希
        const hash = crypto.createHash('sha256')
          .update(unBuffer)
          .digest('hex');

        if (metaHash !== hash) {
          return reject(`SHA哈希不匹配: 期望${metaHash}, 实际${hash}`);
        }

        // 写入磁盘并返回结果
        fs.writeFile('/tmp/test.json', unBuffer)
          .then(() => resolve(unBuffer.toString()))
          .catch(reject);
      });
    });
  });

  return file;
};

方案2：用Stream Pipe优化（更适合大文件）

对于大型文件，把整个文件加载到内存里（chunks数组）会占用大量内存，更优的方式是用Stream Pipe链式处理：下载→解压→计算哈希→写入磁盘，全程流式处理，内存占用极低：

const https = require('request-promise-native');
const request = require('request');
const zlib = require('zlib');
const crypto = require('crypto');
const fs = require('fs');

const getList = async (list) => {
  // 获取元数据
  const meta = await https(`https://example.com/${list}.meta`);
  const metaHash = meta.match(/sha256:(.+)$/im)[1].trim().toLowerCase();

  return new Promise((resolve, reject) => {
    const hashStream = crypto.createHash('sha256');
    const writeStream = fs.createWriteStream('/tmp/test.json');
    const gunzipStream = zlib.createGunzip();

    // 链式pipe：request → gunzip → hash计算 → 写入磁盘
    request(`https://example.com/${list}.json.gz`, { encoding: null, gzip: false })
      .pipe(gunzipStream)
      .pipe(hashStream)
      .pipe(writeStream);

    // 处理各个stream的错误
    request.on('error', reject);
    gunzipStream.on('error', reject);
    writeStream.on('error', reject);

    // 写入完成后验证哈希
    writeStream.on('finish', () => {
      const calculatedHash = hashStream.digest('hex').toLowerCase();
      if (calculatedHash === metaHash) {
        // 读取文件内容（如果需要）
        fs.readFile('/tmp/test.json', 'utf8', (err, data) => {
          if (err) reject(err);
          else resolve(data);
        });
      } else {
        reject(`SHA哈希不匹配: 期望${metaHash}, 实际${calculatedHash}`);
      }
    });
  });
};

关键注意点 #

• 始终处理异步操作的错误，避免静默失败导致难以排查的问题；
• 处理大型文件时优先用Stream，避免内存溢出；
• 确保request返回的是原始二进制Buffer，避免编码转换破坏压缩数据。

内容的提问来源于stack exchange，提问作者Micah Henning