如何在AzureML中保存微调后的HuggingFace模型?
在AzureML中保存HuggingFace微调模型的解决方法
- 指定持久化存储路径
AzureML计算实例的临时目录不会持久化数据,需将模型保存到./outputs(AzureML自动同步该目录到工作区存储)或工作区挂载的持久化存储路径:
trainer.train() # 保存到默认输出目录 trainer.save_model("./outputs/fine_tuned_model")
确保训练完全执行
确认trainer.train()执行完成后再调用save_model(),Notebook中需等待单元格执行状态显示完成,避免中途中断导致保存失败。用AzureML Run API显式同步模型
通过Run对象将模型目录上传到工作区,保证文件被持久化存储:
from azureml.core import Run run = Run.get_context() trainer.train() trainer.save_model("./local_model_dir") # 上传模型到工作区存储 run.upload_folder(name="fine_tuned_model", path="./local_model_dir")
- 检查目录权限与有效性
避免使用/tmp等临时目录,确认目标目录有写入权限,可通过!mkdir -p ./outputs/test命令提前创建目录并验证权限。
内容的提问来源于stack exchange,提问作者matsuo_basho
相关产品推荐
相关产品推荐

