单GPU训练PyTorch模型如何利用共享内存并解决pickle报错问题
问题排查与解决方法
现有修改的错误点
p.num_workers=0是无效操作:num_workers是PyTorchDataLoader的专属参数,和multiprocessing.Process对象没有关联,设置后不会产生任何作用- 报错
TypeError: cannot pickle 'module' object和数据加载阶段的num_workers没有关系:Windows系统下Python多进程默认使用spawn启动方式,所有传入子进程的参数都需要可序列化,你传入的train_generator、objective、optimizer等对象内部包含不可序列化的模块引用,才会触发该报错 model.share_memory()是CPU张量跨进程共享的专用方法,GPU显存共享不需要调用该接口:CUDA张量本身存放在设备全局上下文内,只要多进程持有对应GPU的访问权限即可直接访问,调用该方法反而会做无用的CPU内存操作,甚至引入额外错误- 额外说明:你要实现的Windows环境下调用GPU共享内存的需求,完全不需要额外启动多进程,强行加多进程属于冗余操作,反而引入了不必要的报错
正确实现方案
方案1:删除多余多进程代码,直接配置显存调用规则(推荐)
直接调用GPU共享内存不需要多进程,按以下步骤修改即可:
- 先确认你安装的是CUDA版本的PyTorch,运行
print(torch.cuda.is_available())确认返回True - 在训练脚本的最开头添加显存配置:
import torch import os # 优化CUDA显存分配策略 os.environ['PYTORCH_CUDA_ALLOC_CONF'] = 'max_split_size_mb:128' torch.backends.cudnn.benchmark = True # 配置允许超出专用显存限制,调用共享显存,1.5代表允许最多用到专用显存的1.5倍,可根据自身共享显存大小调整,0为GPU设备ID torch.cuda.set_per_process_memory_fraction(1.5, 0)
- 删掉你新增的多进程相关代码,恢复原代码的
train()函数直接调用逻辑即可
方案2:如果确实需要保留多进程,修复序列化错误
如果你有必须使用多进程的场景,按以下要求修改:
- 所有不可序列化的对象(
train_generator、model、optimizer、scheduler、objective)的初始化逻辑全部移到train函数内部,不要作为参数传入子进程,仅传入字符串、数值这类可序列化的配置参数 - Windows下使用多进程必须添加入口保护,在脚本最外层添加:
if __name__ == '__main__': # 所有主逻辑代码全部放在该判断下
效果验证
训练启动后打开任务管理器-性能-GPU面板,查看专用GPU内存、共享GPU内存的占用数值,只要共享内存有上涨就说明已经正常调用共享显存。如果仍无法使用,检查你的CUDA版本是否高于11.2,低版本CUDA对Windows WDDM共享显存的支持存在兼容性问题。
内容的提问来源于stack exchange,提问作者IMN
相关产品推荐
相关产品推荐

