Dask+RAPIDS 未占满显存即报OOM的问题及大尺寸数据处理方案问询
未占满全部显存即触发CUDA OOM的根因排查与修复
核心触发原因
当前出现的“显存未占满即触发OOM”并非是40GB物理显存被耗尽导致,而是两个配置错误叠加产生的:
- 单块GPU场景下使用CPU通用版
LocalCluster并执行cluster.scale(100),会启动100个独立的Python进程尝试访问同一块GPU,每个进程启动CUDA运行时时会由CUDA驱动固定分配300-500MB的上下文显存,100个进程仅启动阶段就会占用近30GB显存。剩余的显存空间会被CUDA驱动按进程数均分给100个进程,每个进程可支配的连续显存区间不足200MB,根本无法满足K-Means计算的显存申请需求,哪怕总物理显存剩余10GB以上,单个进程申请内存时也会触发OOM。 - 0.18版本RAPIDS默认使用原生
cudaMalloc分配显存,没有内存块复用机制,数据转换、算子计算过程中产生的显存碎片会进一步压缩可连续申请的显存空间,加剧申请失败的概率。
具体修复步骤
- 替换集群初始化逻辑为GPU专用的
LocalCUDACluster,单卡场景下仅启动1个绑定GPU的worker,依靠单进程多线程完成并行计算,彻底避免多进程争抢GPU显存的问题,禁止在单卡场景下无边界扩展worker数量。 - 开启RMM池化内存分配器,通过固定大小的显存池实现内存块复用,从根源消除显存碎片:
from dask_cuda import LocalCUDACluster from dask.distributed import Client import rmm cluster = LocalCUDACluster( n_workers=1, CUDA_VISIBLE_DEVICES="0", rmm_pool_size="32GB" # 为40GB GPU预留8GB显存给系统CUDA上下文 ) client = Client(cluster) - 调整预处理后的数据块大小为2GB/块,避免单个数据块过大触发连续显存申请失败:
# 预处理得到对象A后执行重块操作 A = A.rechunk(nbytes=2 * 1024**3) x = A.map_blocks(cp.asarray) - 调整cuML K-Means的批次加载参数,避免算子一次性申请全量显存:
km = KMeans(n_clusters=4, max_samples_per_batch=100000) predict = km.fit_predict(x).compute()
实现GPU显存溢出自动转存的配置方法
参考Dask CPU场景下的成熟spill机制,对应版本的dask-cuda已经内置了GPU显存溢出能力,不需要自定义开发,直接在集群初始化阶段开启对应开关即可实现溢出数据自动转存到CPU内存、磁盘临时目录的效果:
- 开启GPU显存溢出到CPU内存的开关,配置显存占用阈值:当GPU显存占用达到设定的安全阈值时,自动把暂不参与计算的块数据从GPU内存转存到CPU共享内存,计算时再按需换回GPU。
- 配置本地磁盘临时目录:当CPU内存也达到占用阈值时,自动把溢出的数据序列化转存到指定磁盘目录,完全匹配CPU场景下的Dask spill使用体验。
- 完整的带溢出能力的集群初始化代码如下:
cluster = LocalCUDACluster( n_workers=1, rmm_pool_size="32GB", device_memory_limit="36GB", # 限制单worker最多使用36GB GPU显存 enable_cuda_spilling=True, # 开启GPU到CPU的溢出开关 cuda_spill_threshold=0.9, # GPU显存占用到90%时开始触发溢出 local_directory="/data/dask_tmp" # 配置磁盘临时目录,支撑CPU内存不足时的二次溢出 ) - 配套优化:开启溢出机制后,不需要修改原有业务计算代码,K-Means等GPU算子会自动适配换入换出逻辑。建议根据实际数据规模调整
max_samples_per_batch参数,减少频繁换入换出带来的性能损耗。
内容的提问来源于stack exchange,提问作者Vivek kala
相关产品推荐
相关产品推荐

