如何解决MATLAB导入40000×40000大文本时数据截断、完整存储mat文件的问题
40000×40000带标签超大文本完整导入存储为mat的实现方法
已有方案出现数据截断的核心原因
importdata的截断问题:该函数依赖自动格式识别,检测到首行、首列的非数值标签内容时,会误将标签块判定为文件读取边界,仅读取靠近文件头部的590×590片段,无法覆盖全量内容。- 默认参数
readmatrix的列截断问题:该函数默认仅通过文件前100行的内容推断整体列数,当文件列数达到万级规模时,极易因首行标签的格式偏差出现列数推断错误,仅读取到前587列就终止匹配后续内容。
稳定完整读取的实现流程
前置确认
先手动打开文本文件,确认三个关键信息,避免读取格式不匹配:
- 单元格之间的实际分隔符(制表符、逗号、空格等)
- 首行、首列的标签是否均为纯文本,无数值混在标签区域
- 可用物理内存是否满足要求:40000×40000的双精度浮点数矩阵整体占用约12.8GB内存,若内存不足可将数值转为单精度存储,占用可降至6.4GB
实现代码
方案1:底层IO强制读取(稳定性最高,无自动格式推断)
完全绕开上层导入函数的自动识别逻辑,逐行按固定格式读取全量数值:
% 打开文件,设置只读权限 fileID = fopen('Name.txt','r'); % 跳过第一行的全部列标签内容 fgetl(fileID); % 定义读取规则:每行第一个内容为字符串标签,直接跳过不存储 % %*s表示读入该字符串但不赋值,分隔符替换为文件实际使用的分隔符 readFormat = '%*s %f'; % 拼接剩余39999个数值列的读取格式 for col_idx = 1:39998 readFormat = [readFormat ' %f']; end % 强制按固定维度读取全量数值,fscanf默认按列优先存储 raw_data = fscanf(fileID, readFormat, [39999, 40000]); % 转置得到符合逻辑的 40000行×39999列 有效数值矩阵 valid_data = raw_data'; fclose(fileID); % 以支持大文件的v7.3版本存储mat save('Name_valid.mat', 'valid_data', '-v7.3');
方案2:修正参数后的readmatrix读取(适配已有使用习惯)
如果更习惯使用readmatrix,需要关闭所有自动推断开关,强制指定读取参数:
valid_data = readmatrix('Name.txt', ... 'NumHeaderLines', 1, ... % 跳过第一行的列标签 'Delimiter', '\t', ... % 替换为文件实际分隔符 'ExpectedNumVariables', 39999, ... % 强制指定总列数,不做自动推断 'PartialImport', false, ... % 禁止部分导入截断 'CommentStyle', []); % 关闭注释自动识别 % 删除每行读取到的第一个元素(即原文件首列的行标签) valid_data(:,1) = []; % 存储为大文件兼容的mat格式 save('Name_valid.mat', 'valid_data', '-v7.3');
关键避坑提示
- 不要依赖无参数配置的自动导入函数,这类函数的格式识别逻辑在万级列数的超大文本上稳定性极差,是出现截断的核心诱因。
- 存储时必须指定
-v7.3版本,否则MATLAB默认的v7版本单文件最大支持2GB,无法容纳全量数值矩阵。 - 如果可用物理内存不足16GB,不要一次性全量读入矩阵,可采用分块逐行读取、逐块追加写入mat文件的方式,避免触发内存溢出。
内容的提问来源于stack exchange,提问作者Gze
相关产品推荐
相关产品推荐

