如何使用pruned weight或pruned model？加载时出现报错如何解决？

常见问题与对应处理方案 #

模型结构与权重维度不匹配 #

• 确保加载剪枝权重使用的模型结构，和导出剪枝权重时使用的模型结构完全一致，包括剪枝比例、剪枝层位置、剪枝过程中新增的掩码参数都要对齐。如果使用PyTorch框架实现剪枝，剪枝完成后需要调用torch.nn.utils.prune.remove()方法将剪枝规则固化到模型权重中再导出，避免加载时缺失掩码参数报错。
• 如果你使用的是Hugging Face等第三方平台的开源剪枝模型，不要使用通用AutoModel类加载，要匹配剪枝模型对应的专属模型类进行实例化后再加载权重。

框架版本不兼容 #

• 核对导出剪枝权重时使用的深度学习框架版本，和当前加载环境的框架版本是否一致，跨大版本（例如PyTorch 1.x与2.x、TensorFlow 1.x与2.x）经常会出现权重序列化格式不兼容的问题，建议导出和加载环节使用同一大版本的框架。
• 使用PyTorch加载权重时，可以在torch.load()方法中添加weights_only=True参数规避序列化代码执行风险，同时指定map_location参数匹配当前使用的设备（CPU/GPU），避免设备不匹配触发报错。

权重文件参数缺失 #

• 剪枝后的模型参数名会新增特定前缀（例如.weight_orig、.weight_mask），导出权重时如果过滤了这类参数，加载时就会出现参数缺失的报错。你可以分别打印当前实例化模型的state_dict().keys()和权重文件中存储的参数键名，逐一比对确认缺失或多余的参数，加载时添加strict=False参数可以跳过不匹配的参数，仅加载维度匹配的部分。

内容的提问来源于stack exchange，提问作者Joanne