Node.js拆分大文件为25MB块时实际块体积过大求助

你的代码里有几个关键问题导致拆分出的文件块远超25MB，同时之前的优化方法也因不合理的实现拖慢了速度：

核心问题 #

• temp_chunk初始化与存储错误：你把temp_chunk初始化为undefined，执行temp_chunk += chunk时会把Buffer对象强制转换成字符串拼接，这不仅会让二进制数据体积膨胀（编码转换导致字节占用变大），还会破坏数据完整性。
• 错误的大小比较逻辑：你将计算出的MB数转成字符串截取后，用字符串和数值24.5做比较，这是字符串而非数值比较，逻辑完全错误。比如"25.0mb"和24.5比较时，JavaScript会把数值转成字符串按字符顺序对比，结果完全不符合预期。
• 冗余的大小计算：Node.js里Buffer本身自带length属性表示字节数，用Blob计算完全没必要，这也是导致速度变慢的原因之一。
• 同步写入阻塞事件循环：fs.writeFileSync是同步操作，会卡住整个Node.js事件循环，大幅降低文件处理效率。
• 未处理文件结束事件：读取流结束时，最后一段不足25MB的数据块没有被写入。

修正后的代码 #

下面是修复后的代码，既能保证拆分精度，又能维持处理速度：

const fs = require('fs').promises;
const path = require('path');
const { createReadStream } = require('fs');

const CHUNK_SIZE = 25 * 1024 * 1024; // 标准25MB（如果需要按1000000字节算"MB"，改成25*1000000即可）

async function splitFile(filePath, outputDir) {
  const fileName = path.basename(filePath);
  let count = 0;
  let currentChunk = [];
  let currentSize = 0;

  await fs.mkdir(outputDir, { recursive: true }); // 确保输出目录存在

  return new Promise((resolve, reject) => {
    const readable = createReadStream(filePath, { highWaterMark: 64 * 1024 }); // 可根据需求调整读取块大小

    readable.on('data', async (chunk) => {
      readable.pause(); // 暂停读取，避免内存溢出

      currentChunk.push(chunk);
      currentSize += chunk.length;

      // 当前块达到设定大小则写入
      if (currentSize >= CHUNK_SIZE) {
        const chunkBuffer = Buffer.concat(currentChunk);
        await fs.writeFile(path.join(outputDir, `${fileName}${count}`), chunkBuffer);
        count++;
        currentChunk = [];
        currentSize = 0;
      }

      readable.resume(); // 恢复读取
    });

    readable.on('end', async () => {
      // 写入最后一段不足25MB的剩余数据
      if (currentChunk.length > 0) {
        const chunkBuffer = Buffer.concat(currentChunk);
        await fs.writeFile(path.join(outputDir, `${fileName}${count}`), chunkBuffer);
      }
      resolve();
    });

    readable.on('error', reject);
  });
}

async function processFiles() {
  const inputDir = '../in';
  const outputDir = '../out';
  const files = await fs.readdir(inputDir);

  for (const fileName of files) {
    const filePath = path.join(inputDir, fileName);
    const stats = await fs.stat(filePath);
    if (stats.isFile()) { // 只处理文件，跳过目录
      await splitFile(filePath, outputDir);
      console.log(`${fileName} 拆分完成`);
    }
  }
}

processFiles().catch(err => console.error('处理出错:', err));

关键优化点 #

• 用Buffer存储块数据：直接用Buffer数组存储读取到的块，最后用Buffer.concat合并，避免字符串转换带来的体积膨胀和性能损耗。
• 数值化大小判断：直接用字节数和CHUNK_SIZE做数值比较，逻辑准确无歧义。
• 异步写入+流控制：用fs.promises.writeFile异步写入，配合pause()和resume()控制读取节奏，避免内存积压。
• 处理文件结束事件：确保最后一段剩余数据被写入。
• 用path模块处理路径：避免硬编码路径导致的跨平台兼容性问题。

你之前通过读取temp_chunk大小修正的方法，本质是绕开了字符串存储的错误，但因为没有用Buffer处理才导致速度变慢，现在的方案从根源解决了两个问题。

内容的提问来源于stack exchange，提问作者Bruno7