Dask LocalCluster的memory_limit参数是单worker、单线程还是全集群限制？

Dask LocalCluster memory_limit参数作用范围说明 #

你示例中设置的32GB是单worker的内存上限。

具体逻辑：

• LocalCluster的memory_limit参数会直接透传给每一个启动的Worker进程，你给出的代码中启动了2个Worker，整个集群的总内存上限为64GB
• 单个Worker下的所有线程共享该Worker的内存配额，不会按线程数拆分限制额度

关于n_workers=1、memory_limit=32GB时被Slurm OOM终止的原因：

memory_limit是Dask层面的软阈值，仅用于触发Worker的垃圾回收、内存溢出数据落盘等策略，并非操作系统层面的硬内存隔离。Dask调度开销、Worker进程运行的额外开销、计算过程中产生的临时对象都可能让进程实际占用的系统内存超过你设置的memory_limit。
如果你的Slurm任务分配的总内存刚好为32GB，就很容易触发OOM kill，一般建议Slurm分配的内存配额要比你设置的Workermemory_limit高出10%~15%预留冗余。

内容的提问来源于stack exchange，提问作者keflavich