Windows环境下Dask Worker占用过高虚拟内存的原因及可调控性咨询

问题核心原因 #

• Dask默认的内存预分配机制：Dask Worker启动时默认会按系统总内存的固定比例（默认占系统总内存的1/16，你的32GB内存刚好对应单Worker预分配2GB左右，加上基础组件占用刚好接近你观测到的3GB私有字节）预留虚拟内存地址空间，用于避免后续任务执行时的内存碎片化、提升分配效率。你观测到的122000KB Working Set（工作集）才是进程实际占用的物理内存，和Celery Worker的40MB实际占用差距不大，3GB左右的Private Bytes大部分是未实际使用的预留地址空间。
• Windows平台的内存统计规则：Windows系统的Private Bytes统计会包含进程预留但未提交的虚拟地址空间，而Celery没有内置预分配内存的逻辑，因此虚拟内存统计值远低于Dask。
• Dask Worker默认加载组件更多：Dask自带了中间结果缓存、内存溢出落盘、集群状态同步、任务血缘追踪等Celery没有的功能模块，初始化时的基础内存预留基数本身就更高。

可通过配置实现内存控制 #

你当前的场景仅通过Dask调度子进程运行外部可执行文件，不需要用到Dask的内存管理相关能力，可以通过以下配置大幅降低虚拟内存预留：

• 手动指定内存上限：启动Worker时添加--memory-limit参数，强制关闭按系统内存比例预分配的逻辑，轻量场景可直接设置为100MB，示例命令：

  dask worker <你的调度器地址> --memory-limit 100MB
  

• 关闭不需要的内存相关功能：启动时添加--memory-target 0 --no-split参数，禁用内存阈值调整、任务分片缓存功能，同时设置环境变量DASK_DISTRIBUTED__WORKER__MEM__SPILL=False关闭内存溢出落盘逻辑，避免不必要的内存预留。
• 关闭保姆监控进程：如果不需要Worker进程异常自动重启能力，添加--nanny 0参数关闭独立的nanny监控进程，可额外减少一套进程地址空间的预留占用。

调整后单个Dask Worker的Private Bytes可以降到和Celery Worker接近的水平，且不会影响你当前的子进程调度场景的执行效率。

内容的提问来源于stack exchange，提问作者RRPitre