如何使用C++ fstream高效在二进制流间复制指定位置数据？

针对从两个二进制文件的任意位置间复制数据（大小从几字节到数百MB）的需求，性能最优的实现核心是最小化磁盘I/O次数——因为磁盘I/O是整个流程的性能瓶颈，而非内存操作。以下是具体方案：

一、带中间缓冲区的实现（基础最优方案） #

这个方案完全可行，且是绝大多数场景下的首选。

1. 缓冲区大小选择 #

合适的缓冲区大小需匹配操作系统的磁盘块大小与文件系统缓存策略，推荐范围是64KB ~ 256KB，部分大文件场景可提升至1MB：

• 现代磁盘的物理块大小通常为4KB/8KB，但操作系统会做预读缓存，使用更大的缓冲区能减少用户态与内核态之间的数据拷贝次数。
• 缓冲区过大（如超过4MB）不会带来显著性能提升，反而会占用过多内存，甚至导致CPU缓存失效。
• 对于几字节的小数据，可直接跳过缓冲区，一次性完成读写，避免缓冲区初始化的开销。

2. 示例代码 #

#include <fstream>
#include <vector>
#include <algorithm>

void copy_binary_range(std::ifstream& src_file, std::ofstream& dst_file,
                       std::streampos src_offset, std::streampos dst_offset,
                       std::streamsize copy_size) {
    // 定义缓冲区大小，此处选用128KB
    constexpr std::streamsize BUFFER_SIZE = 128 * 1024;
    std::vector<char> buffer(BUFFER_SIZE); // 堆分配缓冲区，避免栈溢出

    // 定位源文件读取起始位置
    src_file.seekg(src_offset);
    if (!src_file) return; // 处理定位失败

    // 定位目标文件写入起始位置
    dst_file.seekp(dst_offset);
    if (!dst_file) return;

    std::streamsize remaining = copy_size;
    while (remaining > 0) {
        // 计算本次要读取的字节数（不超过剩余量和缓冲区大小）
        std::streamsize read_bytes = std::min(remaining, BUFFER_SIZE);
        src_file.read(buffer.data(), read_bytes);
        
        // 获取实际读取的字节数（处理源文件提前结束的情况）
        std::streamsize actual_read = src_file.gcount();
        if (actual_read == 0) break;

        // 写入目标文件
        dst_file.write(buffer.data(), actual_read);
        if (!dst_file) break; // 处理写入失败

        remaining -= actual_read;
    }
}

二、更优的替代方案 #

1. 扩大fstream内部缓冲区 #

默认情况下，fstream的内部缓冲区很小（通常仅4KB左右）。手动设置更大的内部缓冲区，可让标准库自行处理读写循环，减少代码复杂度的同时提升性能：

#include <fstream>

int main() {
    std::ifstream src("source.bin", std::ios::binary);
    std::ofstream dst("dest.bin", std::ios::binary);

    // 定义128KB的内部缓冲区
    char internal_buffer[128 * 1024];
    // 设置源文件流的内部缓冲区（需在打开流且未做任何I/O前调用）
    src.rdbuf()->pubsetbuf(internal_buffer, sizeof(internal_buffer));
    dst.rdbuf()->pubsetbuf(internal_buffer, sizeof(internal_buffer));

    // 定位到对应位置后直接读写
    src.seekg(0x1000); // 源文件起始偏移
    dst.seekp(0x2000); // 目标文件起始偏移
    std::streamsize copy_size = 1024 * 1024; // 复制1MB数据

    std::vector<char> temp(copy_size);
    src.read(temp.data(), copy_size);
    dst.write(temp.data(), src.gcount());

    return 0;
}

注意：pubsetbuf必须在流打开后、未执行任何读写/定位操作前调用，否则可能无效。

2. 小数据直接读写优化 #

当复制数据量小于缓冲区大小时，直接一次性完成读写，避免循环与缓冲区初始化的开销：

if (copy_size <= BUFFER_SIZE) {
    std::vector<char> small_buf(copy_size);
    src_file.read(small_buf.data(), copy_size);
    dst_file.write(small_buf.data(), src_file.gcount());
    return;
}

关键注意事项 #

• 必须以std::ios::binary模式打开文件，否则会自动转换换行符，导致二进制数据损坏。
• 每次I/O操作后需检查流状态（如!src_file），处理定位、读写失败的异常情况。
• 大缓冲区需用堆分配（如std::vector），避免栈溢出风险。

内容的提问来源于stack exchange，提问作者Frustrated Soul