MATLAB使用parfor并行处理时内存异常激增问题求助

问题描述 #

某MATLAB程序使用parfor并行处理时出现严重内存异常：程序生成ECell对象并存储于20×20的对象矩阵中，该矩阵总大小仅约120KB，但parfor执行时内存占用迅速攀升至20GB以上，最终导致MATLAB崩溃。内存激增发生在首个并行迭代完成、结果写入主矩阵的瞬间。

原始代码 #

主脚本 #

clear
Num_series = 20;
Num_gen = 20;
Cells_series(Num_series, Num_gen) = ECell();
inicell = ECell();
cellpara = CellPara();
parfor kkk = 1:Num_series
    Cells_series(kkk, :) = series_generater(inicell, cellpara, Num_gen);
end

生成函数 #

function [Cellvec] = series_generater(inicell, cellpara, Num_gen)
    [~, Newcell2, inicell.CellsWhenIni, inicell.ini_t, inicell.ini_tag, ~, ~] = RunTillDiv(inicell, cellpara, 100);
    Cellvec(1, Num_gen) = inicell;
    for kk = 1:Num_gen
        Newcell2 = Newcell2.RenormCell;
        [Newcell2, ~, Newcell2.CellsWhenIni, Newcell2.ini_t, Newcell2.ini_tag, ~, ~] = RunTillDiv(Newcell2, cellpara, 10000);
        Cellvec(kk) = Newcell2;
    end
end

关键现象 #

• 仅parfor并行执行时触发问题，串行运行无异常
• 目标存储矩阵Cells_series总大小仅约120KB，远低于内存飙升幅度
• 内存占用莫名攀升至20GB以上，最终导致程序崩溃
• 问题触发时机为首个并行迭代完成、结果写入主矩阵时
• 常规内存优化手段无效，怀疑与MATLAB并行计算实现机制相关

可能原因分析 #

1. parfor变量传递机制缺陷：MATLAB的parfor通过序列化/反序列化传递变量，若ECell对象包含隐藏引用或未清理的临时数据，序列化时会将冗余数据一并传递，导致内存暴增。尤其在series_generater中直接修改输入参数inicell的属性，会让parfor复制对象的完整状态，包括未预期的关联数据。

2. 对象矩阵预分配的并行写入冲突：提前预分配的对象矩阵Cells_series在parfor写入时，可能触发内部内存复制机制的缺陷，复杂对象属性会引发大量不必要的内存拷贝。

3. 自定义类序列化不兼容：ECell类若未实现saveobj/loadobj方法，MATLAB默认序列化会保存对象所有内部状态，包括临时计算产生的大数组、缓存数据等，即使这些数据未被显式使用。

解决尝试方案 #

方案1：避免修改输入参数，改用局部变量 #

在series_generater中创建输入对象的局部副本，避免修改原对象导致parfor追踪冗余状态：

function [Cellvec] = series_generater(inicell, cellpara, Num_gen)
    local_inicell = inicell;
    [~, Newcell2, local_inicell.CellsWhenIni, local_inicell.ini_t, local_inicell.ini_tag, ~, ~] = RunTillDiv(local_inicell, cellpara, 100);
    Cellvec(1, Num_gen) = local_inicell;
    for kk = 1:Num_gen
        Newcell2 = Newcell2.RenormCell;
        [Newcell2, ~, Newcell2.CellsWhenIni, Newcell2.ini_t, Newcell2.ini_tag, ~, ~] = RunTillDiv(Newcell2, cellpara, 10000);
        Cellvec(kk) = Newcell2;
    end
end

方案2：改用cell数组存储结果 #

将Cells_series改为cell数组，规避parfor在预分配对象矩阵时的内存管理问题：

% 主脚本修改
clear
Num_series = 20;
Num_gen = 20;
Cells_series = cell(Num_series, Num_gen);
inicell = ECell();
cellpara = CellPara();
parfor kkk = 1:Num_series
    Cellvec = series_generater(inicell, cellpara, Num_gen);
    Cells_series(kkk, :) = Cellvec;
end

方案3：为ECell类实现自定义序列化方法 #

在ECell类中添加saveobj和loadobj方法，仅保存必要属性，剔除临时冗余数据：

classdef ECell < handle
    properties
        CellsWhenIni
        ini_t
        ini_tag
        % 其他必要属性
    end
    methods
        function obj = saveobj(obj)
            savedProps = struct('CellsWhenIni', obj.CellsWhenIni, 'ini_t', obj.ini_t, 'ini_tag', obj.ini_tag);
            obj = savedProps;
        end
        function obj = loadobj(obj)
            newObj = ECell();
            newObj.CellsWhenIni = obj.CellsWhenIni;
            newObj.ini_t = obj.ini_t;
            newObj.ini_tag = obj.ini_tag;
            obj = newObj;
        end
    end
end

方案4：检查RunTillDiv函数的内存泄漏 #

确认RunTillDiv函数是否存在未清理的临时变量，并行环境中每个工作进程的内存独立，若函数内部有内存泄漏，多进程会累积占用大量内存。可在函数末尾添加clear清理临时变量，或用memory函数监控每个进程的内存使用。

内容的提问来源于stack exchange，提问作者KQing