在无网HPC节点训练后,如何本地保存SetFit Trainer?
如何在无网HPC上将SetFit Trainer保存到本地磁盘
直接保存完整模型
训练完成后,无需推送至Hugging Face Hub,直接调用SetFit Trainer的save_model()方法,指定本地路径即可保存完整模型(包含Sentence Transformer主体和分类头):
# 假设已完成训练,得到trainer实例 trainer.save_model("./my_local_setfit_model")
加载本地模型
后续需要使用模型时,通过SetFitModel.from_pretrained()加载本地保存的模型:
from setfit import SetFitModel loaded_model = SetFitModel.from_pretrained("./my_local_setfit_model")
保存训练器状态(可选)
如果需要保留训练器的配置、训练参数等状态,可额外调用save_state()方法:
trainer.save_state("./trainer_state_dir")
恢复状态时:
from setfit import SetFitTrainer trainer = SetFitTrainer(model=loaded_model) trainer.load_state("./trainer_state_dir")
注意事项
- 确认目标路径有写入权限,优先选择HPC上的个人工作目录或指定存储分区。
- 保存的目录包含所有必要文件,可直接拷贝到其他离线环境使用。
内容的提问来源于stack exchange,提问作者Tanish Bafna
相关产品推荐
相关产品推荐

