Node.js中如何同时用读取流计算SHA256哈希并写入写入流？

问题分析 #

你原代码的核心问题有两个：

1. 写入文件为哈希值而非原内容：read.pipe(hash).pipe(write)是将哈希流的输出（即最终计算出的哈希字符串）传递给写入流，而非原文件数据。
2. hash.read()返回null：调用hash.setEncoding('hex')后，哈希流仅在结束时输出一次结果，且read()方法在流结束且无缓存时返回null。正确获取哈希值的方式是使用hash.digest('hex')。

正确实现方案 #

以下两种方案均能实现「同时计算SHA256哈希、写入临时文件，完成后重命名为哈希值」的需求，推荐使用第二种更符合Node.js现代异步流处理的写法。

方案一：通过data事件分岔数据流

import fs from 'fs';
import crypto from 'crypto';
import { rename } from 'fs/promises';

function processFile(inputPath, tempOutputPath) {
  const readStream = fs.createReadStream(inputPath);
  const writeStream = fs.createWriteStream(tempOutputPath);
  const hash = crypto.createHash('sha256');

  // 每读取到一块数据，同时更新哈希并写入文件
  readStream.on('data', (chunk) => {
    hash.update(chunk);
    writeStream.write(chunk);
  });

  // 读取完成后，结束写入流并处理重命名
  readStream.on('end', async () => {
    writeStream.end();
    const sha256Hash = hash.digest('hex');
    console.log(`文件哈希值：${sha256Hash}`);
    await rename(tempOutputPath, `tmp/${sha256Hash}`);
    console.log('文件已重命名为哈希值');
  });

  // 错误处理：任一流出错时销毁其他流
  readStream.on('error', (err) => {
    console.error('读取文件失败:', err);
    writeStream.destroy(err);
  });

  writeStream.on('error', (err) => {
    console.error('写入临时文件失败:', err);
    readStream.destroy(err);
  });
}

// 执行处理
processFile('tmp/input.txt', 'tmp/temp-output.txt');

方案二：使用PassThrough分岔流 + stream.pipeline（推荐）

利用PassThrough流实现数据分岔，结合stream.pipeline和Promise.all更安全地处理异步流操作：

import fs from 'fs';
import crypto from 'crypto';
import { pipeline, PassThrough } from 'stream/promises';
import { rename } from 'fs/promises';

async function processFile(inputPath, tempOutputPath) {
  const hash = crypto.createHash('sha256');
  const passThrough = new PassThrough();

  // 并行执行文件写入和哈希计算
  const [_, sha256Hash] = await Promise.all([
    // 将分岔流的数据写入临时文件
    pipeline(passThrough, fs.createWriteStream(tempOutputPath)),
    // 遍历分岔流的数据计算哈希
    (async () => {
      for await (const chunk of passThrough) {
        hash.update(chunk);
      }
      return hash.digest('hex');
    })()
  ]);

  console.log(`文件哈希值：${sha256Hash}`);
  // 重命名临时文件为哈希值
  await rename(tempOutputPath, `tmp/${sha256Hash}`);
  console.log('文件处理完成');
}

// 执行处理并捕获错误
processFile('tmp/input.txt', 'tmp/temp-output.txt')
  .catch(err => console.error('文件处理失败:', err));

关键注意事项 #

• 数据流分岔：必须让原数据同时流向写入流和哈希计算逻辑，不能使用链式pipe传递哈希处理后的结果。
• 错误处理：流操作容易出现错误，需确保任一流出错时销毁其他流，避免资源泄漏。
• 重命名时机：必须等写入流完全结束（文件写入完成）后再执行重命名，否则可能导致文件损坏。

内容的提问来源于stack exchange，提问作者Lance Pollard