使用fs.writeFile写入大文件仅写入65KB的问题求助

我之前也踩过类似的坑！这种只在特定服务器出现、小文件正常大文件截断的情况，核心原因基本都和Base64数据的解码处理或者服务器环境的内存/配置限制有关，本地环境因为资源宽松所以没暴露问题。下面给你拆解原因和可行的解决方案：

为什么会出现65KB截断？ #

大部分情况下，这个65KB的阈值和Node.js默认的字符串/Buffer处理限制、或者服务器的进程内存配额有关：

• 直接把未解码的Base64字符串传给fs.writeFile时，底层可能会分块处理，若服务器内存不足，会导致部分数据未完成写入就被中断
• 有些中间代理或服务器配置会对大字符串做截断，刚好卡在65KB左右的阈值
• 旧版本Node.js对超大Buffer的写入处理存在bug，导致数据截断

解决方案1：手动解码Base64为Buffer后写入 #

不要直接传Base64字符串给fs.writeFile，先手动解码成Buffer，同时清理Base64中可能存在的无效字符（比如前缀data:image/png;base64,、换行、空格），确保解码完整：

const fs = require('fs').promises;
const path = require('path');

async function saveBase64File(base64Str, targetPath) {
  try {
    // 移除Base64前缀和无效空白字符
    const cleanedBase64 = base64Str
      .replace(/^data:.+;base64,/, '')
      .replace(/\s+/g, '');
    
    // 解码为Buffer（这一步是关键，确保数据完整）
    const fileBuffer = Buffer.from(cleanedBase64, 'base64');
    
    // 异步写入文件，用promise版本确保写入完成
    await fs.writeFile(targetPath, fileBuffer);
    console.log(`文件已成功写入到 ${targetPath}`);
  } catch (error) {
    console.error('写入文件失败:', error);
    throw error;
  }
}

解决方案2：流式写入（适合超大文件） #

如果你的文件远大于65KB，建议用流式处理，避免一次性把整个Base64数据加载到内存，这样能规避服务器的内存限制：

const fs = require('fs');
const { Transform } = require('stream');
const { promisify } = require('util');
const pipeline = promisify(require('stream').pipeline);

async function streamBase64ToFile(base64Str, targetPath) {
  try {
    // 清理Base64数据
    const cleanedBase64 = base64Str
      .replace(/^data:.+;base64,/, '')
      .replace(/\s+/g, '');
    
    // 创建可读流（将Base64字符串转为流）
    const base64ReadStream = fs.createReadStream(Buffer.from(cleanedBase64, 'utf8'));
    
    // 创建Base64解码转换流
    const decodeTransform = new Transform({
      transform(chunk, _, callback) {
        const decodedChunk = Buffer.from(chunk.toString(), 'base64');
        callback(null, decodedChunk);
      }
    });
    
    // 创建可写流
    const fileWriteStream = fs.createWriteStream(targetPath);
    
    // 执行流管道，确保所有数据处理完成
    await pipeline(base64ReadStream, decodeTransform, fileWriteStream);
    console.log('超大文件流式写入完成');
  } catch (error) {
    console.error('流式写入失败:', error);
    throw error;
  }
}

额外检查点（针对服务器环境） #

1. 升级Node.js版本：旧版本（比如v12及以下）对大Buffer的写入存在已知问题，升级到v16+的稳定版能解决大部分底层bug
2. 检查服务器内存配置：如果是容器化部署（比如Docker），确认容器的内存配额是否足够，避免写入时内存不足触发OOM截断
3. 排查中间代理/网关：如果Base64数据是通过API接收的，检查网关或代理是否有请求体大小限制，避免数据在传输过程中被截断

内容的提问来源于stack exchange，提问作者Ankit Khedekar