使用model.module.state_dict()保存的多GPU训练模型能否用model.state_dict()加载?
多卡训练权重单卡加载问题解答
结论:你可以直接在单GPU环境下使用常规的state_dict相关方法完成加载,无需额外调整权重结构。
原理说明
- 使用PyTorch的
nn.DataParallel或DistributedDataParallel做多GPU训练时,原始模型会被封装进并行容器中,容器的module属性才对应你自己定义的原始模型结构。 - 你存储权重时已经主动调用
model.module.state_dict()导出权重,得到的权重字典和单卡环境下直接定义的模型的state_dict()结构完全一致,所有key没有并行容器特有的module.前缀,完全匹配。
标准加载代码示例
import torch # 1. 单卡环境下先定义和训练时结构完全一致的原始模型 model = YourModelClass(**your_model_init_params) # 2. 加载已保存的权重文件,map_location按需指定权重加载的目标设备,避免设备不匹配报错 checkpoint = torch.load("your_saved_weight_path.pth", map_location="cuda:0") # 3. 直接调用load_state_dict加载即可 model.load_state_dict(checkpoint) # 后续正常使用模型即可 model.cuda() model.eval()
额外注意
仅当你存储权重时没有取
module属性,直接保存了并行容器的state_dict()时,才需要手动去除所有权重key的module.前缀再加载,你当前的存储方式已经规避了该问题,无需额外处理。
内容的提问来源于stack exchange,提问作者Array
相关产品推荐
相关产品推荐

