MATLAB中加速大体积文本数据导入的方法咨询

一、提速单次文件读取速度 #

针对多文本文件导入场景，可通过以下方式优化读取效率：

• 精准指定变量类型：确保setvartype覆盖所有列，比如将日期列设为'datetime'、ALG系列哑变量设为'logical'或'int8'、数值列设为对应精度的数值类型（如Age用'int8'）。避免MATLAB自动类型检测的开销，同时减少内存占用。
• 批量读取+高效合并：用循环批量处理文件，先将每个表存入cell数组，再一次性合并，替代逐个拼接的低效操作：

opts = detectImportOptions("Data-2013.txt");
opts = setvartype(opts, {...}); % 补全你的变量类型配置
opts = setvartype(opts, {...}, 'string');

fileYears = 2013:2022;
tableList = cell(length(fileYears), 1);
for i = 1:length(fileYears)
    fileName = sprintf('Data-%d.txt', fileYears(i));
    tableList{i} = readtable(fileName, opts);
end
Table_Merged = vertcat(tableList{:});

• 并行读取的正确用法：若磁盘IO不是瓶颈（如用SSD），可通过并行池加速读取，注意提前初始化池并确保每个迭代独立：

pool = parpool; % 根据CPU核心数设置池大小，如parpool(4)
fileYears = 2013:2022;
tableList = cell(length(fileYears), 1);
parfor i = 1:length(fileYears)
    fileName = sprintf('Data-%d.txt', fileYears(i));
    tableList{i} = readtable(fileName, opts);
end
delete(pool);
Table_Merged = vertcat(tableList{:});

• 跳过无关列：如果不需要所有字段，用opts.SelectedVariables指定需导入的列，直接减少读取的数据量：

opts.SelectedVariables = {'ArrivalTS', 'ChiefComplaint', 'ESI', 'Age'}; % 示例：只保留需要的列

二、持久化数据，避免重复导入 #

这是解决"每次重启都要重新导入"问题的最优方案，将合并后的表保存为MAT文件，后续直接加载：

1. 首次导入后保存数据：

% 完成所有文件导入与合并后
save('MergedEDData.mat', 'Table_Merged');

2. 后续启动程序时直接加载：

if exist('MergedEDData.mat', 'file')
    load('MergedEDData.mat'); % 直接加载合并后的表
else
    % 执行原来的导入、合并代码
    opts = detectImportOptions("Data-2013.txt");
    opts = setvartype(opts, {...});
    opts = setvartype(opts, {...}, 'string');
    
    fileYears = 2013:2022;
    tableList = cell(length(fileYears), 1);
    for i = 1:length(fileYears)
        fileName = sprintf('Data-%d.txt', fileYears(i));
        tableList{i} = readtable(fileName, opts);
    end
    Table_Merged = vertcat(tableList{:});
    save('MergedEDData.mat', 'Table_Merged');
end

3. 大文件部分加载（可选）：若MAT文件过大，无需全量加载时，可使用matfile对象读取特定列/行：

mf = matfile('MergedEDData.mat');
% 读取指定列的子集
dataSubset = mf.Table_Merged(:, {'ArrivalTS', 'ChiefComplaint', 'ESI'});

额外优化建议 #

• 若使用机械硬盘，更换为SSD可大幅降低磁盘IO耗时；
• 避免将数据文件放在网络共享盘，优先使用本地存储；
• 清理MATLAB工作区无关变量，避免内存碎片化影响合并效率。

内容的提问来源于stack exchange，提问作者Seth Brock