C++读取任意大小矩阵文件的最快实现方法

核心优化方案 #

1. 关闭iostream同步（零成本提升，改3行代码即可）

默认情况下C++的ifstream为了兼容C标准IO库会开启同步，这会让流式读取速度降低数倍。在使用ifstream前加两行配置即可：

ios::sync_with_stdio(false);
cin.tie(nullptr);

同时你现有代码里读取完成后的ifile.clear()和ifile.seekg是完全无用的冗余操作，直接删除即可。

2. 改为连续内存存储矩阵（提升缓存命中率，提速30%+）

你当前用的float**双层指针结构，每一行单独new分配，内存是碎片化的，CPU缓存命中率极低。改为一次性分配连续的一维数组存储，访问时通过偏移量计算索引，和pandas内部存储二维表的结构逻辑一致，能充分利用CPU缓存的空间局部性：

// 连续内存矩阵创建
float* make_matrix_contiguous(int nrow, int ncol, float val){
    float* M = new float[nrow * ncol];
    for(int i = 0; i < nrow * ncol; i++) {
        M[i] = val;
    }
    return M;
}
// 访问方式：第i行第j列 = M[i * ncol + j]

3. 整块读入内存再解析（减少IO交互开销，提速1~2倍）

磁盘IO批量操作远快于逐次读取，你可以先把整个文件的内容一次性读进内存缓冲区，再在内存里完成浮点数解析，避免频繁和磁盘交互：

float* read_matrix_fast(string fname, int dim_1, int dim_2){
    float* K = make_matrix_contiguous(dim_1, dim_2, 0);
    // 一次性读入整个文件
    ifstream ifile(fname, ios::binary | ios::ate);
    size_t file_size = ifile.tellg();
    ifile.seekg(0);
    char* buf = new char[file_size + 1];
    ifile.read(buf, file_size);
    buf[file_size] = '\0';
    ifile.close();

    // 内存中解析浮点数
    char* p = buf;
    for(int i = 0; i < dim_1 * dim_2; i++){
        K[i] = strtof(p, &p);
    }
    delete[] buf;
    return K;
}

4. 更换为二进制存储格式（最优解，提速10倍以上）

文本格式的浮点数解析是整个流程里最耗CPU的操作，如果你的工具链可控，优先把矩阵存储为二进制格式：

• 写入时直接把连续内存的float数组整块写入文件
• 读取时直接整块读入内存，不需要任何解析
  单个20k×20k的矩阵二进制读取耗时通常在1秒以内，远快于文本解析的几十秒。

内容的提问来源于stack exchange，提问作者JWO