You need to enable JavaScript to run this app. 如何在MLflow运行过程中记录Log Pickle格式的文件作为实验产物?
优惠活动
大模型
产品
解决方案
定价
更多

如何在MLflow运行过程中记录Log Pickle格式的文件作为实验产物?

实现方法

完全可以实现,MLflow提供了两种成熟的方案记录pickle格式的实验产物,你可以根据编码器类型灵活选择:

方案1:通用序列化方案(适配所有可pickle的Python对象)

这个方案不限制对象类型,只要你的编码器支持pickle序列化就能直接用:

  • 先将编码器对象序列化成本地临时pickle文件
  • 调用mlflow.log_artifact()方法将本地文件上传到当前MLflow运行的产物目录

参考代码:

import pickle
import mlflow
from sklearn.preprocessing import OneHotEncoder

# 示例:训练好的分类编码器
encoder = OneHotEncoder(sparse_output=False)
encoder.fit(your_category_training_data)

with mlflow.start_run():
    # 本地序列化对象
    with open("category_encoder.pkl", "wb") as f:
        pickle.dump(encoder, f)
    # 上传到MLflow产物,第二个参数可选,可指定产物存放的子目录
    mlflow.log_artifact("category_encoder.pkl", artifact_path="custom_encoders")

后续需要使用时,调用mlflow.artifacts.download_artifact()下载对应pkl文件再反序列化即可。

方案2:Sklearn系编码器专用方案

如果你用的是scikit-learn生态的编码器(比如OneHotEncoder、LabelEncoder、OrdinalEncoder等),可以直接用mlflow.sklearn.log_model()方法,底层自动完成pickle序列化,不需要自己写本地文件读写逻辑:

参考代码:

import mlflow
from sklearn.preprocessing import LabelEncoder

# 示例:训练好的标签编码器
label_encoder = LabelEncoder()
label_encoder.fit(your_label_data)

with mlflow.start_run():
    # 直接记录sklearn对象到MLflow产物
    mlflow.sklearn.log_model(label_encoder, artifact_path="label_encoder")

后续加载时直接调用mlflow.sklearn.load_model("runs:/<你的运行ID>/label_encoder")就能直接拿到编码器实例,不需要手动做反序列化操作。

注意:如果你的编码器是自定义类,要确保加载对象的环境中也存在该类的完整定义,否则会出现pickle反序列化失败的问题。

内容的提问来源于stack exchange,提问作者Naga Budigam

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.18 13:15:08