从12GB级MATLAB mat文件读取指定行的高效方法问询

嘿，我来帮你搞定这个12GB大mat文件的读取难题！首先得澄清一个你可能踩过的坑：你说用matfile还是加载整个文件，大概率是用法不对——默认情况下matfile是延迟加载的，根本不会把整个12GB文件塞进内存，只有当你明确访问特定行/列时才会读取对应部分。

正确使用matfile的打开方式 #

假设你的表格变量名叫bigTable，按下面步骤操作绝对能省时间：

• 先创建matfile对象，别加'Writable',true参数（加了这个会强制加载更多内容，反而变慢）：

  m = matfile('my_big_fat_file.mat');
  

• 直接读取你需要的行，比如第100到200行：

  targetRows = m.bigTable(100:200, :);
  

这样MATLAB只会读取你指定的那101行数据，不会碰整个12GB文件，速度肯定比加载全文件快N倍。要是之前你顺手写了fullTable = m.bigTable;，那当然会加载整个文件，这是绝对要避免的操作！

如果matfile还是不好使（比如旧版本MATLAB或非7.3格式文件） #

要是你的mat文件是低于7.3版本的格式（可以用whos -file my_big_fat_file.mat查看格式），那matfile的延迟加载功能可能受限。这时候有两个办法：

方法1：转成7.3格式（一次性操作，一劳永逸） #

虽然要先加载一次（忍10分钟），但转完之后就爽了：

load('my_big_fat_file.mat');
save('my_big_fat_file_v73.mat', 'bigTable', '-v7.3');

之后就可以用上面的matfile方法秒读指定行了。

方法2：直接用HDF5函数硬刚（不用转换） #

因为7.3格式的mat文件本质就是HDF5文件，你可以直接用MATLAB的HDF5工具定位到目标行：

1. 先看看文件里的HDF5结构，找到表格对应的数据集路径：

   h5disp('my_big_fat_file_v73.mat');
   

   你会看到类似/bigTable的路径，还有表格各列的存储位置。
2. 读取指定行的数据，比如第100到200行的所有列：
   假设表格的核心数据存在/bigTable/Variables下，用这个命令：

   targetData = h5read('my_big_fat_file_v73.mat', '/bigTable/Variables', [1 100], [inf 101]);
   

   这里的参数是[起始行 起始列]和[读取行数 读取列数]，inf表示读取所有列（如果你的列数固定）。读完之后再组装回表格就行：

   targetTable = array2table(targetData, 'VariableNames', m.bigTable.Properties.VariableNames);
   

额外小技巧 #

• 要是你经常要读不同的行，可以先把表格的元数据（比如列名、总行数）读出来，不用每次都碰整个文件：

  totalRows = m.bigTable.Height;
  colNames = m.bigTable.Properties.VariableNames;
  

• 别在循环里逐行读！尽量一次性读连续的行区间，效率差很多的。

内容的提问来源于stack exchange，提问作者Arnaldo Batista