PyTorch Lightning 1.4.0训练的NCF模型checkpoint加载失败如何解决?
首先你之前的两种写法存在两处核心错误:
- 第一种写法中
num_items参数错误传入了DataFrame类型的train_ratings,但类初始化要求该参数是代表物品总数的int类型值 - 第二种写法误用了类方法
load_from_checkpoint,该方法是PL模型类的类方法,不需要先实例化模型再调用,否则会重复初始化参数,也容易出现参数不匹配问题
正确加载代码如下:
# 参数名、参数类型必须和NCF类__init__方法的定义完全匹配 trained_model = NCF.load_from_checkpoint( checkpoint_path = "NCF_Trained.ckpt", num_users = num_users, num_items = num_items, data = train_ratings, all_itemIds = all_itemIds ) # 如果仅用于推理,加载完成后切换到评估模式 trained_model.eval()
补充注意事项:
- 加载时传入的
num_users、num_items必须和训练时传入的数值完全一致,否则嵌入层维度不匹配会抛出权重加载错误 - 如果你加载模型后需要继续训练,需要确保你代码中的数据集类名一致:你之前定义的数据集类名为
CustomTrainDataset,但模型train_dataloader方法中调用的是ChupsTrainDataset,这个笔误需要先修正,否则训练时会找不到类报错 - 若加载时仍出现参数匹配问题,可以先打印checkpoint的超参数部分核对:
ckpt = torch.load("NCF_Trained.ckpt") print(ckpt["hyper_parameters"])
核对打印出的参数key是否和你传入的参数名完全一致。
内容的提问来源于stack exchange,提问作者Arun
相关产品推荐
相关产品推荐

