Python环境下已训练机器学习模型的保存与复用方法咨询

• 关于训练完成模型的保存方案
  目前有非常成熟的落地方法，根据你使用的工具栈选择对应标准方案即可：

  • 基于Scikit-learn、XGBoost这类传统机器学习库开发的模型，优先使用joblib做序列化存储，模型体量较小时也可以用Python标准库自带的pickle，大模型场景下joblib的读写效率显著高于pickle
  • 基于PyTorch开发的深度学习模型，官方推荐优先保存模型的state_dict参数字典，需要断点续训场景下可以额外保存优化器、学习率调度器的状态字典，也支持直接序列化存储完整模型对象
  • 基于TensorFlow/Keras开发的深度学习模型，直接调用模型内置的model.save()接口即可，支持保存为SavedModel目录格式或单文件h5格式

• 关于保存模型的参数与状态完整性
  只要使用对应框架官方推荐的标准保存流程，保存的文件会完整留存所有训练结果：

  • 传统机器学习模型会完整保留训练得到的特征权重、预处理节点参数、模型超参数配置，不会出现训练结果丢失
  • 深度学习模型如果选择全量保存，除了各网络层的权重参数外，还可以保留优化器动量、学习率进度、已训练轮次等所有训练中间状态，完全支持断点续训
  • 不要使用非官方的自定义序列化方案存储模型，否则大概率出现参数缺失、结构不匹配的问题

• 关于加载模型直接推理的可行性
  规范保存的模型完全可以直接加载使用，不需要重复执行训练流程：

  1. 按照对应框架的加载接口读取保存的模型文件后，深度学习模型需要先切换到评估模式，比如PyTorch要执行model.eval()关闭dropout、批归一化层的训练态逻辑，避免推理结果异常
  2. 推理时使用的新数据预处理流程必须和训练阶段完全一致，否则会因为数据分布偏移导致推理结果不准
  3. 如果保存时同步留存了训练状态，加载后不仅可以直接推理，还能基于已训练好的权重继续做微调，不需要从头初始化模型训练

注意事项：模型保存和加载时要保证前后使用的机器学习框架版本一致，跨大版本加载可能出现序列化兼容问题；pickle、joblib序列化文件存在代码执行风险，不要加载来源不明的模型文件。

内容的提问来源于stack exchange，提问作者viphd