通过stdout创建gzip压缩tar文件生成无效文件的问题

问题根源 #

1. exec命令不适合流式二进制处理：child_process.exec的设计目标是处理短文本输出，它会缓冲子进程的所有stdout/stderr数据，直到命令执行完成后才一次性返回。当你同时通过child.stdout.pipe()流式读取时，会触发双重输出处理，导致数据重复写入（这就是流生成文件大小翻倍的直接原因），最终损坏压缩格式。
2. tar命令参数不明确：部分tar版本中，仅用-cz *可能会出现行为歧义，没有明确指定输出目标时，有些环境下tar可能不会正确将压缩数据输出到stdout。显式添加-f -可以强制tar把压缩包数据输出到stdout（-代表标准输出）。
3. 未隔离stderr输出：如果tar执行时遇到警告（比如无权限读取某个文件），这些信息会输出到stderr。如果不小心将stderr混入输出流，会直接破坏gzip的压缩结构，导致文件无法识别。

解决方案 #

改用child_process.spawn处理流式输出——它专为持续的二进制流设计，不会缓冲数据，同时明确tar的输出参数，正确处理stderr：

const { spawn } = require("child_process");
const fs = require("fs");

const outputStream = fs.createWriteStream("../logfiles.tar.gz");

// spawn接收命令和参数数组，-f - 明确指定输出到stdout
const tarProcess = spawn("tar", ["-czf", "-", "*"], {
    cwd: "./logs"
});

// 把tar的标准输出管道到文件流
tarProcess.stdout.pipe(outputStream);

// 单独处理错误输出，避免污染压缩包
tarProcess.stderr.on("data", (chunk) => {
    console.error(`Tar警告/错误: ${chunk.toString()}`);
});

// 监控tar进程状态
tarProcess.on("error", (err) => {
    console.error(`启动tar进程失败: ${err}`);
    outputStream.close();
});

tarProcess.on("exit", (code) => {
    if (code !== 0) {
        console.error(`tar进程退出，错误码: ${code}`);
        outputStream.destroy(new Error(`tar执行失败，错误码${code}`));
    } else {
        console.log("归档创建完成");
    }
});

// 处理文件写入错误
outputStream.on("error", (err) => {
    console.error(`写入文件失败: ${err}`);
    tarProcess.kill();
});

outputStream.on("finish", () => {
    console.log("写入完成");
});

HTTP流式发送示例 #

如果要直接通过HTTP发送归档（无需写入本地文件），只需将输出流替换为响应对象：

// 以Express框架为例
const express = require("express");
const app = express();

app.get("/download-logs", (req, res) => {
    // 设置正确的响应头
    res.setHeader("Content-Type", "application/gzip");
    res.setHeader("Content-Disposition", "attachment; filename=logfiles.tar.gz");

    const tarProcess = spawn("tar", ["-czf", "-", "*"], { cwd: "./logs" });

    tarProcess.stdout.pipe(res);

    // 处理tar错误
    tarProcess.stderr.on("data", (chunk) => {
        console.error(`Tar错误: ${chunk.toString()}`);
    });

    tarProcess.on("exit", (code) => {
        if (code !== 0) {
            res.status(500).send("创建归档失败");
        }
    });

    // 客户端中断请求时，终止tar进程
    res.on("close", () => {
        tarProcess.kill();
    });
});

app.listen(3000);

内容的提问来源于stack exchange，提问作者Marc