用keras.models.load_model()加载Transformer模型报JSONDecodeError怎么办
报错根因
该JSONDecodeError与transformers库save_pretrained()生成的.json配置文件无关联,本质是HuggingFace自定义Keras层(如TFBertMainLayer)通过原生model.save()序列化为TensorFlow SavedModel格式时,未正确写入层配置元数据,导致SavedModel proto中user_object.metadata字段为空。原生Keras加载流程在还原自定义层时,会尝试解析该字段为合法JSON,遇到空值就会触发解码错误。
可行解决方法
方法1:使用HuggingFace官方逻辑加载*(推荐)*
无需使用原生Keras的load_model(),直接用transformers内置的加载接口绕开元数据校验流程:
- 加载代码示例:
from transformers import TFBertForSequenceClassification # 传入model.save()生成的模型目录路径即可 model = TFBertForSequenceClassification.from_pretrained("你的模型存储路径") - 该方法会自动识别SavedModel格式的权重与自定义层结构,兼容SageMaker训练输出的模型目录,不会触发原生Keras的元数据解析逻辑。
方法2:必须用原生Keras加载时的处理
如果业务流程要求必须使用keras.models.load_model(),需要先注册所有依赖的自定义层到Keras对象字典:
- 加载前导入所有BERT相关的自定义层,注册到
custom_objects:from transformers.models.bert.modeling_tf_bert import ( TFBertMainLayer, TFBertEmbeddings, TFBertSelfAttention, TFBertSelfOutput, TFBertAttention, TFBertIntermediate, TFBertOutput, TFBertLayer, TFBertEncoder, TFBertPooler ) from tensorflow import keras custom_objects = { "TFBertMainLayer": TFBertMainLayer, "TFBertEmbeddings": TFBertEmbeddings, "TFBertSelfAttention": TFBertSelfAttention, "TFBertSelfOutput": TFBertSelfOutput, "TFBertAttention": TFBertAttention, "TFBertIntermediate": TFBertIntermediate, "TFBertOutput": TFBertOutput, "TFBertLayer": TFBertLayer, "TFBertEncoder": TFBertEncoder, "TFBertPooler": TFBertPooler, } - 加载时传入自定义对象字典,同时关闭编译避免依赖报错:
model = keras.models.load_model( "你的模型存储路径", custom_objects=custom_objects, compile=False )
方法3:训练阶段调整保存逻辑从根源规避
如果仍在训练流程中,可以调整保存方式从源头避免元数据缺失:
- 训练完成后,在原生
model.save()的基础上,同时调用transformers自带的保存方法生成合法配置:# 原生SavedModel保存(适配SageMaker部署要求) model.save("模型存储路径/") # 同步生成transformers格式的层配置与权重 model.save_pretrained("模型存储路径/") - 该方式生成的模型目录会同时包含SavedModel结构与合法的层配置元数据,后续无论用哪种方式加载都不会出现解码错误。
注意事项
- 加载时的
tensorflow、transformers版本必须与训练时的版本完全一致,版本不匹配会导致自定义层序列化逻辑不兼容,触发同类报错。 - 不要手动修改SavedModel目录下的
saved_model.pb文件,否则会进一步破坏元数据结构。 - 若模型目录缺失
assets文件夹,可手动创建空目录,部分场景下TensorFlow会因目录结构不完整跳过元数据写入。
内容的提问来源于stack exchange,提问作者Trent Yarosevich
相关产品推荐
相关产品推荐

