You need to enable JavaScript to run this app. 使用model.module.state_dict()保存的多GPU训练模型能否用model.state_dict()加载?
优惠活动
大模型
产品
解决方案
定价
更多

使用model.module.state_dict()保存的多GPU训练模型能否用model.state_dict()加载?

多卡训练权重单卡加载问题解答

结论:你可以直接在单GPU环境下使用常规的state_dict相关方法完成加载,无需额外调整权重结构。

原理说明

  • 使用PyTorch的nn.DataParallel或DistributedDataParallel做多GPU训练时,原始模型会被封装进并行容器中,容器的module属性才对应你自己定义的原始模型结构。
  • 你存储权重时已经主动调用model.module.state_dict()导出权重,得到的权重字典和单卡环境下直接定义的模型的state_dict()结构完全一致,所有key没有并行容器特有的module.前缀,完全匹配。

标准加载代码示例

import torch

# 1. 单卡环境下先定义和训练时结构完全一致的原始模型
model = YourModelClass(**your_model_init_params)

# 2. 加载已保存的权重文件,map_location按需指定权重加载的目标设备,避免设备不匹配报错
checkpoint = torch.load("your_saved_weight_path.pth", map_location="cuda:0")

# 3. 直接调用load_state_dict加载即可
model.load_state_dict(checkpoint)

# 后续正常使用模型即可
model.cuda()
model.eval()

额外注意

仅当你存储权重时没有取module属性,直接保存了并行容器的state_dict()时,才需要手动去除所有权重key的module.前缀再加载,你当前的存储方式已经规避了该问题,无需额外处理。

内容的提问来源于stack exchange,提问作者Array

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.19 17:57:00