并行MPI代码总内存消耗如何计算？是否为处理器数乘以串行代码内存用量？

总内存消耗不存在统一的计算公式，完全取决于你的数据存储实现逻辑，绝大多数情况下不等于处理器数量 × 串行版本内存使用量，两种常见实现的内存模型如下：

• 全量数据副本模式（你最初的实现）：每个进程都定义并存储完整的全局数组，即使仅使用部分数据也会占用全量内存。此时总内存消耗 = 进程数 × 单进程内存占用，其中单进程内存占用和串行版本基本一致，还要额外加上MPI运行时、通信缓存的固定开销，总内存会高于「进程数 × 串行内存」，会随进程数线性增长，这也是你触发out of memory报错的核心原因。
• 分块存储模式（你优化后的实现）：每个进程仅定义存储自身所需数据块的local array，此时总内存消耗约等于全局数据总大小 + 进程数 × 单进程固定开销（MPI运行时、通信临时变量等），总内存仅比串行版本高10%~30%，不会随进程数线性增长，是MPI大内存场景的标准实现。

MPI的每个进程拥有独立的虚拟地址空间，进程之间的内存默认不共享。你未做数据分块时，每个进程都会独立申请所有超大数组的全量内存，哪怕该进程仅访问数组的极小部分，系统也会为每个进程的全量数组分配物理内存。例如串行版本仅需10GB内存存储数组，跑8个进程时仅数组部分就需要占用80GB内存，超过节点内存上限就会触发内存不足，进而引发段错误。

你后续改为匹配进程所需数据尺寸定义local array的优化方案完全正确，可从根本上解决多进程内存线性膨胀的问题。

内容的提问来源于stack exchange，提问作者user6872802