C++如何实现大型std::vector<std::vector<float>>的文件读写操作？

核心结论 #

最优方案是采用二进制方式存储查找表数据，完全不建议使用明文文本文件存储，也不能直接存储嵌套vector对象的内存副本。

两种存储方案对比 #

• 明文文本文件：2048*2048共4194304个浮点数，转明文存储后体积是二进制存储的2~5倍，读写需要做字符串和浮点数的格式转换，耗时提升至少一个量级，还存在浮点数精度损失的风险，完全不符合性能需求。
• 直接存储嵌套vector对象二进制副本：你当前使用的std::vector<std::vector<float>>是非连续内存结构，每个子vector是独立分配的堆内存，vector对象本身只存储指向数据的指针，直接dump对象内存到文件的话，读回时指针指向的地址已经失效，会直接触发内存访问错误，该方案不可行。

优化建议 #

你当前的内存分配耗时高确实和嵌套resize的写法有关，2048次单独的内存分配开销远高于单次分配，优先建议你把查找表改成连续内存存储：

• 把std::vector<std::vector<float>>替换为std::vector<float>，总大小设为2048*2048，寻址时用索引 = 行号 * 2048 + 列号即可，仅需1次内存分配，读写速度最快。
• 如果需要保留二维访问语法，可以封装简单的二维数组类，或者使用C++23提供的std::mdspan做视图封装，不需要修改原有寻址逻辑。

代码示例 #

连续内存版读写实现 #

#include <fstream>
#include <vector>

constexpr size_t LUT_ROW = 2048;
constexpr size_t LUT_COL = 2048;
constexpr const char* LUT_PATH = "float_lut.bin";

int main() {
    std::vector<float> lut;
    // 优先尝试读本地文件
    std::ifstream in(LUT_PATH, std::ios::binary);
    if (in.is_open()) {
        size_t total_size;
        // 读总元素数
        in.read(reinterpret_cast<char*>(&total_size), sizeof(total_size));
        lut.resize(total_size);
        // 一次性读所有数据
        in.read(reinterpret_cast<char*>(lut.data()), total_size * sizeof(float));
        in.close();
    } else {
        // 文件不存在则生成查找表
        lut.resize(LUT_ROW * LUT_COL);
        // 这里替换为你原有生成查找表的逻辑，lut[i*LUT_COL + j]对应原来的dataStructure[i][j]
        // 生成完成后写入文件，下次启动直接读取
        std::ofstream out(LUT_PATH, std::ios::binary);
        size_t total_size = lut.size();
        out.write(reinterpret_cast<const char*>(&total_size), sizeof(total_size));
        out.write(reinterpret_cast<const char*>(lut.data()), total_size * sizeof(float));
        out.close();
    }

    // 后续正常使用查找表即可
    return 0;
}

保留嵌套vector结构的读写实现 #

如果你不想修改原有数据结构，可以用如下方式读写，性能略低于连续内存版，但远高于文本存储：

#include <fstream>
#include <vector>

constexpr size_t LUT_ROW = 2048;
constexpr size_t LUT_COL = 2048;
constexpr const char* LUT_PATH = "float_lut.bin";

int main() {
    // 一次性预分配所有内存，替代原来的循环resize，大幅降低分配耗时
    std::vector<std::vector<float>> dataStructure(LUT_ROW, std::vector<float>(LUT_COL));

    std::ifstream in(LUT_PATH, std::ios::binary);
    if (in.is_open()) {
        for (auto& row : dataStructure) {
            in.read(reinterpret_cast<char*>(row.data()), LUT_COL * sizeof(float));
        }
        in.close();
    } else {
        // 这里替换为你原有生成查找表的逻辑
        // 生成完成后写入文件
        std::ofstream out(LUT_PATH, std::ios::binary);
        for (auto& row : dataStructure) {
            out.write(reinterpret_cast<const char*>(row.data()), LUT_COL * sizeof(float));
        }
        out.close();
    }

    return 0;
}

注意事项 #

• 如果程序仅在同一台机器/同一架构平台上运行，不需要处理字节序问题；如果需要跨不同字节序的平台运行，存储时统一转换为大端/小端字节序，读取时再做对应转换即可。
• 可根据需求在文件末尾增加CRC32等校验值，避免文件损坏导致读取到错误的查找表数据。

内容的提问来源于stack exchange，提问作者Jamie Pond