You need to enable JavaScript to run this app. 用keras.models.load_model()加载Transformer模型报JSONDecodeError怎么办
优惠活动
大模型
产品
解决方案
定价
更多

用keras.models.load_model()加载Transformer模型报JSONDecodeError怎么办

报错根因

该JSONDecodeError与transformers库save_pretrained()生成的.json配置文件无关联,本质是HuggingFace自定义Keras层(如TFBertMainLayer)通过原生model.save()序列化为TensorFlow SavedModel格式时,未正确写入层配置元数据,导致SavedModel proto中user_object.metadata字段为空。原生Keras加载流程在还原自定义层时,会尝试解析该字段为合法JSON,遇到空值就会触发解码错误。

可行解决方法

方法1:使用HuggingFace官方逻辑加载*(推荐)*

无需使用原生Keras的load_model(),直接用transformers内置的加载接口绕开元数据校验流程:

  • 加载代码示例:
    from transformers import TFBertForSequenceClassification
    # 传入model.save()生成的模型目录路径即可
    model = TFBertForSequenceClassification.from_pretrained("你的模型存储路径")
    
  • 该方法会自动识别SavedModel格式的权重与自定义层结构,兼容SageMaker训练输出的模型目录,不会触发原生Keras的元数据解析逻辑。

方法2:必须用原生Keras加载时的处理

如果业务流程要求必须使用keras.models.load_model(),需要先注册所有依赖的自定义层到Keras对象字典:

  • 加载前导入所有BERT相关的自定义层,注册到custom_objects:
    from transformers.models.bert.modeling_tf_bert import (
        TFBertMainLayer, TFBertEmbeddings, TFBertSelfAttention, TFBertSelfOutput,
        TFBertAttention, TFBertIntermediate, TFBertOutput, TFBertLayer,
        TFBertEncoder, TFBertPooler
    )
    from tensorflow import keras
    
    custom_objects = {
        "TFBertMainLayer": TFBertMainLayer,
        "TFBertEmbeddings": TFBertEmbeddings,
        "TFBertSelfAttention": TFBertSelfAttention,
        "TFBertSelfOutput": TFBertSelfOutput,
        "TFBertAttention": TFBertAttention,
        "TFBertIntermediate": TFBertIntermediate,
        "TFBertOutput": TFBertOutput,
        "TFBertLayer": TFBertLayer,
        "TFBertEncoder": TFBertEncoder,
        "TFBertPooler": TFBertPooler,
    }
    
  • 加载时传入自定义对象字典,同时关闭编译避免依赖报错:
    model = keras.models.load_model(
        "你的模型存储路径",
        custom_objects=custom_objects,
        compile=False
    )
    

方法3:训练阶段调整保存逻辑从根源规避

如果仍在训练流程中,可以调整保存方式从源头避免元数据缺失:

  • 训练完成后,在原生model.save()的基础上,同时调用transformers自带的保存方法生成合法配置:
    # 原生SavedModel保存(适配SageMaker部署要求)
    model.save("模型存储路径/")
    # 同步生成transformers格式的层配置与权重
    model.save_pretrained("模型存储路径/")
    
  • 该方式生成的模型目录会同时包含SavedModel结构与合法的层配置元数据,后续无论用哪种方式加载都不会出现解码错误。
注意事项
  • 加载时的tensorflow、transformers版本必须与训练时的版本完全一致,版本不匹配会导致自定义层序列化逻辑不兼容,触发同类报错。
  • 不要手动修改SavedModel目录下的saved_model.pb文件,否则会进一步破坏元数据结构。
  • 若模型目录缺失assets文件夹,可手动创建空目录,部分场景下TensorFlow会因目录结构不完整跳过元数据写入。

内容的提问来源于stack exchange,提问作者Trent Yarosevich

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.01 09:45:05