如何在MLflow运行过程中记录Log Pickle格式的文件作为实验产物?
实现方法
完全可以实现,MLflow提供了两种成熟的方案记录pickle格式的实验产物,你可以根据编码器类型灵活选择:
方案1:通用序列化方案(适配所有可pickle的Python对象)
这个方案不限制对象类型,只要你的编码器支持pickle序列化就能直接用:
- 先将编码器对象序列化成本地临时pickle文件
- 调用
mlflow.log_artifact()方法将本地文件上传到当前MLflow运行的产物目录
参考代码:
import pickle import mlflow from sklearn.preprocessing import OneHotEncoder # 示例:训练好的分类编码器 encoder = OneHotEncoder(sparse_output=False) encoder.fit(your_category_training_data) with mlflow.start_run(): # 本地序列化对象 with open("category_encoder.pkl", "wb") as f: pickle.dump(encoder, f) # 上传到MLflow产物,第二个参数可选,可指定产物存放的子目录 mlflow.log_artifact("category_encoder.pkl", artifact_path="custom_encoders")
后续需要使用时,调用mlflow.artifacts.download_artifact()下载对应pkl文件再反序列化即可。
方案2:Sklearn系编码器专用方案
如果你用的是scikit-learn生态的编码器(比如OneHotEncoder、LabelEncoder、OrdinalEncoder等),可以直接用mlflow.sklearn.log_model()方法,底层自动完成pickle序列化,不需要自己写本地文件读写逻辑:
参考代码:
import mlflow from sklearn.preprocessing import LabelEncoder # 示例:训练好的标签编码器 label_encoder = LabelEncoder() label_encoder.fit(your_label_data) with mlflow.start_run(): # 直接记录sklearn对象到MLflow产物 mlflow.sklearn.log_model(label_encoder, artifact_path="label_encoder")
后续加载时直接调用mlflow.sklearn.load_model("runs:/<你的运行ID>/label_encoder")就能直接拿到编码器实例,不需要手动做反序列化操作。
注意:如果你的编码器是自定义类,要确保加载对象的环境中也存在该类的完整定义,否则会出现pickle反序列化失败的问题。
内容的提问来源于stack exchange,提问作者Naga Budigam
相关产品推荐
相关产品推荐

