写入单个大文件还是多个小文件：哪种方式速度更快？

你当前的写法存在一个核心隐患：用std::stringstream作为中间缓存暂存数据，再通过boost过滤流写入磁盘。但你的压缩后数据就有100GB，原始数据体量只会更大，这种内存缓存的方式必然会导致内存耗尽——毕竟不可能把几十上百GB的数据全部塞进内存里。

下面是针对这个场景的生产级优化建议，都是实际项目中验证过的可行方案：

1. 彻底移除内存缓存，采用流式直写模式 #

这是最关键的优化：直接把生成的数据写入boost的压缩过滤流，跳过stringstream中间环节。数据会边生成、边压缩、边写入磁盘，全程只占用少量内存缓冲区，完全规避内存溢出风险。

示例代码如下：

#include <fstream>
#include <boost/iostreams/filtering_streambuf.hpp>
#include <boost/iostreams/filter/gzip.hpp>

void write_large_gzip_data(const std::string& output_path) {
    // 打开目标二进制文件输出流
    std::ofstream out_file(output_path, std::ios_base::out | std::ios_base::binary);
    if (!out_file.is_open()) {
        throw std::runtime_error("Failed to open output fastq_gz file");
    }

    // 构建压缩过滤流缓冲区
    boost::iostreams::filtering_streambuf<boost::iostreams::output> out_buf;
    // 添加gzip压缩器（参数可调整，下文会说明）
    out_buf.push(boost::iostreams::gzip_compressor());
    // 关联到文件输出流
    out_buf.push(out_file);

    // 用ostream包装过滤缓冲区，方便写入数据
    std::ostream out_stream(&out_buf);

    // 替换为你的数据生成逻辑，比如循环写入大量数据块
    for (size_t block_idx = 0; block_idx < 1000000; ++block_idx) {
        std::string data_block = generate_next_data_block(); // 你的数据生成函数
        out_stream.write(data_block.data(), data_block.size());
        
        // 可选：每写一定数量的块手动刷一次，避免操作系统缓存积压
        if (block_idx % 1000 == 0) {
            out_stream.flush();
        }
    }

    // 确保所有压缩后的数据都刷入磁盘
    boost::iostreams::flush(out_buf);
    // 关闭流时会自动清理所有资源
}

2. 调整gzip参数平衡写入速度与压缩率 #

如果你的场景更看重写入效率（毕竟数据量极大），可以调整gzip的压缩级别，不用默认的最高压缩：

// 改用最快压缩速度，牺牲少量压缩率换取写入效率
out_buf.push(boost::iostreams::gzip_compressor(
    boost::iostreams::gzip_params(boost::iostreams::zlib::best_speed)
));

还可以手动设置压缩缓冲区大小，减少压缩操作的次数：

boost::iostreams::gzip_compressor compressor(
    boost::iostreams::gzip_params(boost::iostreams::zlib::default_compression)
);
compressor.set_buffer_size(64 * 1024); // 设置64KB缓冲区
out_buf.push(compressor);

3. 确保数据完全落盘，避免子进程读取不完整 #

因为写完文件后要给子进程读取，必须确保所有数据从操作系统缓存刷到物理磁盘，而非停留在内存中。可以在关闭流前执行以下操作：

// 先刷过滤流缓冲区
out_stream.flush();
boost::iostreams::flush(out_buf);
// 再刷文件流缓冲区
out_file.flush();
// 跨平台磁盘同步（可选但强烈推荐）
#ifdef _WIN32
    FlushFileBuffers(out_file.native_handle());
#else
    fsync(out_file.native_handle());
#endif

另外，一定要完全关闭文件流后再启动子进程，这样操作系统会保证文件的完整性。

4. 可选：添加分块写入的错误检查 #

针对超大规模写入，建议每次写入后检查流状态，避免生成损坏的gzip文件：

if (!out_stream.write(data_block.data(), data_block.size())) {
    out_file.close();
    std::remove(output_path.c_str()); // 删除损坏的文件
    throw std::runtime_error("Failed to write data block to fastq_gz");
}

内容的提问来源于stack exchange，提问作者izaak_pyzaak