Matlab处理大型非稀疏数组如何在低内存下实现运算提速

最优优化方案（匹配你给出的运算逻辑） #

你当前的运算逻辑可以做数学等价简化，完全避免大内存申请和长耗时循环：
你要计算的sum(q'*dij,2)本质上是对q'*dij矩阵的每一行求和，该矩阵的第i行所有元素均为q(i)*dij(k)（k遍历dij的所有下标），因此行求和结果等价于q(i) * sum(dij)。
你只需要执行以下两行代码即可：

sum_dij = sum(dij);
t = q(:) * sum_dij;

该方案仅需遍历dij一次，时间复杂度为O(M)（M为dij的元素个数），内存占用仅为几个标量和长度为200的结果向量，耗时会远低于你当前的循环实现，甚至比pdist运行耗时更低。

若后续运算逻辑变更的通用提速方案 #

如果你后续的运算逻辑调整，无法做上述数学简化，可以采用分块向量化的方案平衡内存和速度：

• 设定合适的分块大小（比如每块1e6个dij元素，可根据你的可用内存调整）
• 逐块截取dij的子段，计算该子段对结果t的贡献并累加
• 避免单元素循环，充分利用MATLAB的向量化运算性能

示例代码如下：

block_size = 1e6; % 可根据实际内存调整
M = numel(dij);
t = zeros(numel(q),1);
for block_start = 1:block_size:M
    block_end = min(block_start + block_size - 1, M);
    dij_block = dij(block_start:block_end);
    t = t + q(:) * sum(dij_block); % 对应你当前的逻辑，若逻辑变更可调整此处的向量化运算
end

原循环效率低下的原因 #

你原来的循环实现每次迭代都需要：

1. 生成一个和dij等长的临时向量factor
2. 遍历一次完整的dij做乘法和求和
   200次迭代相当于遍历dij200次，同时产生大量临时内存开销，因此耗时极高。

内容的提问来源于stack exchange，提问作者sodiumnitrate