C++高效读取合并多文本文件的优化方案求助

原代码的核心问题 #

1. getFileContents里return buffer.c_str();是错误操作：c_str()返回的临时指针在buffer销毁后会失效，导致返回的字符串内容不可控，应该直接返回buffer。
2. 合并时把所有文件内容塞进单个string，总容量200-300MB时会占满内存，直接触发崩溃。
3. 没有任何错误检查：文件打不开、读取失败时会直接崩溃，没有容错性。

分场景优化方案 #

场景1：小文件集合（单文件<10MB，总大小<50MB） #

内存压力小，保留类似原逻辑但修复错误、优化性能：

优化后的读取函数：

#include <fstream>
#include <string>
#include <stdexcept>

namespace lance {
std::string getFileContents(const std::string& path) {
    std::ifstream fs(path, std::ios::binary); // 用binary模式避免换行符转换
    if (!fs.is_open()) {
        throw std::runtime_error("打不开文件: " + path);
    }

    fs.seekg(0, std::ios::end);
    const size_t size = fs.tellg();
    if (size == static_cast<size_t>(-1)) {
        throw std::runtime_error("获取文件大小失败: " + path);
    }

    std::string buffer(size, '\0');
    fs.seekg(0);
    fs.read(&buffer[0], size);
    if (!fs) {
        throw std::runtime_error("读取文件失败: " + path);
    }

    return buffer; // 直接返回string，别用c_str()
}
} // namespace lance

合并逻辑（预分配内存减少扩容开销）：

#include <string>
#include <vector>
#include <fstream>
#include <stdexcept>

void mergeSmallFiles(const std::vector<std::string>& filePaths, const std::string& outputPath) {
    std::string out;
    // 先预估总大小，预分配内存
    size_t totalSize = 0;
    for (const auto& path : filePaths) {
        std::ifstream fs(path, std::ios::binary | std::ios::ate);
        if (fs.is_open()) {
            totalSize += fs.tellg();
        }
    }
    out.reserve(totalSize);

    for (const auto& path : filePaths) {
        out += lance::getFileContents(path);
    }

    std::ofstream outFile(outputPath, std::ios::binary);
    if (!outFile.is_open()) {
        throw std::runtime_error("打不开输出文件");
    }
    outFile.write(out.data(), out.size());
}

场景2：大文件/大总容量（单文件>10MB，总大小>50MB） #

核心思路：边读边写，不把所有内容存进内存，彻底解决内存溢出问题：

#include <fstream>
#include <vector>
#include <array>
#include <stdexcept>

void mergeLargeFiles(const std::vector<std::string>& filePaths, const std::string& outputPath) {
    std::ofstream outFile(outputPath, std::ios::binary);
    if (!outFile.is_open()) {
        throw std::runtime_error("打不开输出文件");
    }

    // 用4KB缓冲区（和系统页大小匹配，效率最高）
    const size_t bufferSize = 4096;
    std::array<char, bufferSize> buffer;

    for (const auto& path : filePaths) {
        std::ifstream inFile(path, std::ios::binary);
        if (!inFile.is_open()) {
            throw std::runtime_error("打不开文件: " + path);
        }

        // 循环读一部分写一部分
        while (inFile.read(buffer.data(), bufferSize)) {
            outFile.write(buffer.data(), bufferSize);
        }
        // 写入最后不足4KB的内容
        outFile.write(buffer.data(), inFile.gcount());
    }
}

场景3：混合场景（既有小文件又有大文件） #

自动判断文件大小，小文件批量读入内存，大文件边读边写，兼顾效率和内存：

#include <fstream>
#include <vector>
#include <array>
#include <string>
#include <stdexcept>

// 定义小文件阈值：10MB
const size_t SMALL_FILE_THRESHOLD = 10 * 1024 * 1024;

void mergeMixedFiles(const std::vector<std::string>& filePaths, const std::string& outputPath) {
    std::ofstream outFile(outputPath, std::ios::binary);
    if (!outFile.is_open()) {
        throw std::runtime_error("打不开输出文件");
    }

    const size_t bufferSize = 4096;
    std::array<char, bufferSize> buffer;
    std::string smallBuffer;

    for (const auto& path : filePaths) {
        std::ifstream inFile(path, std::ios::binary | std::ios::ate);
        if (!inFile.is_open()) {
            throw std::runtime_error("打不开文件: " + path);
        }

        const size_t fileSize = inFile.tellg();
        inFile.seekg(0);

        if (fileSize <= SMALL_FILE_THRESHOLD) {
            // 小文件直接读入内存
            smallBuffer.resize(fileSize);
            inFile.read(smallBuffer.data(), fileSize);
            outFile.write(smallBuffer.data(), fileSize);
        } else {
            // 大文件边读边写
            while (inFile.read(buffer.data(), bufferSize)) {
                outFile.write(buffer.data(), bufferSize);
            }
            outFile.write(buffer.data(), inFile.gcount());
        }
    }
}

通用注意事项 #

• 必须用std::ios::binary模式：避免Windows和Linux下换行符自动转换，保证合并后的文件和源文件内容完全一致。
• 加错误检查：任何文件操作都要判断是否成功，避免因权限问题、文件损坏导致崩溃。
• 不用手动调用close()：ifstream和ofstream的析构函数会自动关闭文件，更安全。

内容的提问来源于stack exchange，提问作者Nyxane