Dask compute内存占用达预期两倍，原因是什么？

这种现象是完全正常的，核心差异来自persist()和compute()的执行逻辑与结果存储方式：

1. persist()的内存行为 #

persist()会将Dask数组的分片计算完成后，保留在工作进程的内存中，返回的仍然是一个Dask数组对象——这个对象仅持有已计算分片的引用，没有额外复制数据。

• 在你的测试中，1GB的数组分片被直接存储在本地内存，内存占用刚好匹配数组的实际大小，无额外开销。

2. compute()的内存行为 #

compute()的目标是生成完整的普通numpy数组（而非Dask数组），执行过程会经历两个关键阶段：

• 首先，Dask在工作进程中计算所有数组分片，此时内存已占用1GB；
• 接着，需要将这些分片从工作进程内存传输到主进程，并拼接成完整的numpy数组——这个阶段中，工作进程的分片数据和主进程的完整数组会同时存在于内存中，导致峰值内存占用达到2GB。
• 当compute()执行完成后，工作进程中的分片数据会被自动清理，但内存峰值已经产生。

补充说明 #

在单机环境下，Dask默认使用同步调度器，工作进程和主进程共享同一内存空间，因此会出现这种短暂的内存翻倍情况。如果是分布式集群环境，persist()的数据会留在worker节点，主进程仅持有元数据；而compute()需要将所有数据拉取到主进程，内存差异会更显著。

内容的提问来源于stack exchange，提问作者Peter9192