Julia分布式数组内存占用测量问题求助

嘿，我明白你在测量DistributedArrays内存占用时遇到的困惑了——原来的方法确实存在问题，我来帮你理清原因并给出正确的解决方案。

为什么你的代码结果不对？ #

你之前的代码有两个关键问题：

• sizeof(d)得到的只是本地分布式数组的元数据大小，也就是用来管理远程片段的结构内存，这部分非常小，完全不能代表实际数组的内存占用。
• 当你遍历for a in d时，a其实是远程数组片段的引用对象，sizeof(a)计算的是这个引用本身的大小（通常是8字节左右），而不是远程机器上实际数组的内存。而且这种遍历会把远程数据拉到本地，额外占用内存，结果自然和系统显示的总占用不符。

正确的测量方法 #

要准确计算分布式数组的总内存，你需要在每个进程上单独计算本地持有的数组片段的内存，再汇总所有进程的结果。这里有两种简单有效的方式：

方法1：使用分布式求和

addprocs(2)
@everywhere using DistributedArrays

m = [rand(100,100) for i in 1:1000]
d = distribute(m)

# 分布式计算每个进程本地片段的内存总和
total_memory = @distributed (+) for local_chunk in localparts(d)
    sizeof(local_chunk)
end

println("分布式数组总内存占用: ", total_memory, " 字节")

方法2：逐个进程获取本地内存占用

# 获取每个工作进程上的本地片段内存总和
memory_per_process = map(pid -> fetch(@spawnat pid sum(sizeof, localparts(d))), workers())
total_memory = sum(memory_per_process)

println("分布式数组总内存占用: ", total_memory, " 字节")

原理说明 #

• localparts(d)会返回当前进程上持有的所有分布式数组片段，sizeof(local_chunk)能准确计算该片段的实际内存（比如你的rand(100,100)是Float64数组，每个占用100*100*8=80000字节）。
• 通过分布式求和或者逐个进程汇总，我们得到的是所有进程上的内存占用总和，这和系统监控显示的结果会完全匹配。

如果你的数组元素是更复杂的自定义类型，可能需要用Base.summarysize替代sizeof来计算对象的深层内存占用，但对于普通数值数组，sizeof就足够准确了。

内容的提问来源于stack exchange，提问作者Christopher Fisher