You need to enable JavaScript to run this app. PBS调度HPC集群中Dask分发大量作业时JupyterHub内存溢出问题
优惠活动
大模型
产品
解决方案
定价
更多

PBS调度HPC集群中Dask分发大量作业时JupyterHub内存溢出问题

核心故障诱因分析
  • 无意义的结果回传占满中心节点内存
    你当前的核心计算函数存在return返回值,虽然所有产出已经直接写入磁盘、根本不需要在中心节点使用返回值,但Dask默认会将worker端跑完的任务返回值序列化后,传输到运行在JupyterHub节点上的Dask Scheduler进程永久存储,等待client端拉取。即使你从未主动调用client.gather()获取结果,这部分缓存也不会被自动释放。按照每个任务返回值平均占100MB估算,提交50个任务就会产生5GB左右的固定内存占用,提交256个任务就会产生25GB以上的缓存累积;结合你单任务7分钟的执行周期、26个worker的规模,运行20分钟左右累积的缓存内存刚好达到60GB的中心节点上限,这也是你观察到固定运行时长后触发OOM的直接原因。
  • 全量持有future引用导致内存无法回收
    不管是delayed转future还是client.map的提交方式,你都会把生成的全部future对象存在Python列表里,由中心节点的JupyterHub进程持有长引用。Dask的设计逻辑是:只要client端还持有对应任务的future引用,调度器就不会主动清除该任务的状态和结果缓存,哪怕任务早就执行完成。这就导致所有提交过的任务内存一直累积,没有释放窗口,最终触发内存耗尽。
  • 调度器的全量任务排程额外放大内存开销
    一次性提交上百个任务时,调度器需要把所有任务的参数、状态信息全部加载到中心节点内存里做排程,哪怕这些任务还没被调度到worker上执行。如果参数列表本身是大的Python对象,这部分开销会进一步放大中心节点的内存压力。
  • nanny=False配置下的双向内存累积
    因为你必须关闭nanny,Dask失去了worker端的自动内存监控和重启能力,Python解释器本身不会主动触发高频垃圾回收,已经在worker上执行完成的任务残留对象、通信缓冲区的未发送数据会一直留在内存里,最终表现为你观察到的worker内存持续升高的现象。本质上这是中心节点内存耗尽后,和worker的通信链路堵塞导致的传导问题,不是worker本身的计算逻辑问题。
针对性优化方案
  • 从链路层面取消无意义的结果回传
    直接修改核心计算函数,删除不必要的return语句,让worker端执行完任务后没有需要回传的对象,从根源上切断结果从worker到调度器的传输链路,避免调度器缓存无谓的结果数据。
    def complex_python_func(params):
        # 所有计算产出直接写入磁盘,无返回值需要回传
        compute(params=params).run()
    
  • 采用限流分批的任务提交逻辑
    绝对不要一次性提交上百个任务并持有全部future引用,按照当前26个worker的规模,每次提交的任务量控制在worker总数的2-3倍(也就是50-70个),等当前批次的所有任务全部执行完成后,再提交下一批。每批任务等待执行完成后,手动清空对应的future列表引用,触发Python垃圾回收,让Dask自动释放调度器侧的缓存。
    BATCH_SIZE = 60  # 匹配当前worker规模,预留足够缓冲
    for batch_start in range(0, len(list_of_params), BATCH_SIZE):
        batch_params = list_of_params[batch_start:batch_start+BATCH_SIZE]
        # 提交当前批次任务
        futures = client.map(complex_python_func, batch_params)
        # 等待当前批次全部执行完成
        client.gather(futures)
        # 主动清空引用,释放内存
        del futures
    
  • 优化Dask集群的内存配置,补偿nanny=False的不足
    在初始化PBSCluster时,给worker和调度器加上针对性的内存管控参数,弥补关闭nanny后自动内存管理能力缺失的问题:
    cluster = PBSCluster(
        cores=1,
        memory="30GB",
        interface="ib0",
        queue=queue,
        processes=1,
        nanny=False,
        walltime="12:00:00",
        shebang="#!/bin/bash",
        env_extra=env_extra,
        python=python_bin,
        # worker端主动内存回收配置,在内存达到阈值时触发垃圾回收
        worker_extra=[
            "--memory-target=20GB",
            "--memory-spill=0",
            "--no-dashboard"
        ],
        # 调度器端配置,关闭不必要的功能,减少中心节点内存占用
        scheduler_options={
            "dashboard": False,
        }
    )
    
  • 优化参数传递方式,减少调度器内存压力
    如果你的单任务参数体积较大(比如超过10MB),不要直接把参数对象存在提交列表里传到调度器,可以先把所有参数序列化后写入共享磁盘,提交任务时只传对应参数的文件路径字符串,让worker端拿到任务后自己从磁盘读取参数。这样调度器侧只需要存储几十字节的路径字符串,不需要加载大体积的参数对象,能大幅降低中心节点的排程内存开销。
  • 补充任务级别的内存释放逻辑
    因为你不需要任务的返回值,可以在提交任务后配合as_completed迭代任务执行状态,每完成一个任务就手动将对应的future标记为释放,避免调度器长期持有任务状态。
    from distributed import as_completed
    # 提交当前批次任务
    futures = client.map(complex_python_func, batch_params)
    # 逐批释放已完成的任务
    for future in as_completed(futures):
        future.release()
    

内容的提问来源于stack exchange,提问作者Mike

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.03 12:45:06