MLflow保存集成TensorFlow Hub句向量的自定义推理类遇Pickle序列化报错
报错核心根源
抛出的“can't pickle repeated message fields”本质是:直接通过hub.load()加载的TensorFlow Hub模型内部持有TensorFlow Protobuf的重复字段对象,这类对象完全不支持Python原生pickle序列化。而MLflow在执行save_model/log_model操作时,会对自定义pyfunc类实例的所有属性做pickle序列化,碰到这类不可序列化对象就会直接中断流程。
之前尝试单独用mlflow.tensorflow.log_model记录Hub模型却没解决问题,核心原因是没有把单独记录的模型和自定义推理类的序列化流程做隔离,依然在类初始化阶段把线上加载的Hub模型实例存为类属性,保存时还是会触发同一序列化报错。
对应改造步骤
1. 重构自定义pyfunc类的属性结构
严格遵守序列化规则:类的持久化属性只存可被pickle的普通Python对象(字符串、字典、numpy数组、列表等),所有不可序列化的运行时对象(Hub模型、TF计算图)全部放到MLflow指定的load_context生命周期方法里加载,完全不参与序列化流程。
改造后的类实现参考:
import mlflow.pyfunc import tensorflow_hub as hub import numpy as np class convEngine(mlflow.pyfunc.PythonModel): def __init__(self, qa_dict: dict, tfhub_model_uri: str): # 持久化存储原始问答知识库(普通dict,可序列化) self.qa_dict = qa_dict # 持久化存储Hub模型的访问地址(普通字符串,可序列化) self.tfhub_model_uri = tfhub_model_uri # 预计算知识库问题的句向量:临时加载模型完成计算后立刻释放实例,仅把计算结果(numpy数组,可序列化)存为属性 _temp_encoder = hub.load(self.tfhub_model_uri) kb_question_list = list(qa_dict.keys()) self.kb_question_vectors = _temp_encoder(kb_question_list).numpy() # 释放临时加载的模型实例,避免被纳入序列化范围 del _temp_encoder # 占位变量:仅在运行时加载模型时赋值,不参与初始化阶段的序列化 self.encoder = None # MLflow自动调用的模型上下文加载方法:在模型从存储位置加载到推理环境后触发,此时无序列化要求 def load_context(self, context): self.encoder = hub.load(self.tfhub_model_uri) # 自定义推理逻辑 def predict(self, context, model_input: str): # 编码用户输入为句向量 input_vector = self.encoder([model_input]).numpy() # 计算与所有知识库问题的内积匹配度 similarity_scores = np.dot(input_vector, self.kb_question_vectors.T).flatten() # 取匹配度最高的答案返回 best_match_idx = np.argmax(similarity_scores) matched_question = list(self.qa_dict.keys())[best_match_idx] return self.qa_dict[matched_question]
2. 执行模型保存时补全依赖声明
MLflow不会自动识别TensorFlow、TensorFlow Hub这类依赖,需要在保存时显式声明,避免后续加载时出现环境缺失问题:
# 实例化自定义类时仅传入可序列化参数,绝对不要传入已加载的Hub模型实例 qa_engine = convEngine( qa_dict={ "怎么办理银行卡": "携带本人有效身份证到就近银行网点办理", "怎么查询账单明细": "登录手机银行在交易记录板块查看近6个月明细" }, tfhub_model_uri="https://tfhub.dev/google/universal-sentence-encoder-large/5" ) mlflow.pyfunc.save_model( path="./semantic_qa_engine", python_model=qa_engine, pip_requirements=[ "tensorflow==2.15.0", "tensorflow-hub==0.15.0", "numpy==1.26.0" ] )
关键避坑点
- 禁止把
hub.load()返回的模型实例作为类属性存储、作为初始化参数传入:这类对象内部的Protobuf字段是序列化报错的直接来源,只要这类对象存在于类实例的持久化属性中,不管后续怎么调整单独log模型的逻辑,报错都不会消失。 - 预计算知识库向量时,临时加载的Hub模型实例必须在计算完成后手动从内存中释放,不能残留为类属性。
- 不要在类的
__init__方法中加载Hub模型,所有需要运行时初始化的不可序列化对象,全部放到load_context方法中实现,这个方法的调用时机完全在序列化流程之后,不会触发pickle校验。
内容的提问来源于stack exchange,提问作者Beckenbaur93
相关产品推荐
相关产品推荐

