使用自定义tf.keras.Model作为层的模型加载时报KeyError: 'layers'错误
嵌套自定义Keras模型加载时报
KeyError: 'layers'的解决方案 问题根因
- 当前使用
save_format="h5"的HDF5格式保存整个模型,该格式依赖序列化得到的模型配置(config)重建模型结构,本身对子类化自定义tf.keras.Model的嵌套结构支持存在缺陷。从报错路径可判断使用的是TensorFlow 2.0之前的旧版本,该版本的HDF5加载逻辑无法自动收集子类化自定义Model的子层配置,最终导致中间层级的配置缺失layers键,触发KeyError。 - 之前继承
tf.keras.layers.Layer时加载正常,是因为自定义Layer的序列化逻辑仅需返回初始化参数,不强制要求config包含layers字段;替换父类为tf.keras.Model后,Keras会走Network类的重建流程,强制读取config中的layers字段递归构建结构,而你没有为自定义Model实现对应的序列化逻辑,自然会出现键缺失的问题。 - 你排查发现底层自定义Model有
layers键、中间层没有,是因为底层Model直接包含原生Keras层,原生层的序列化逻辑会自动携带嵌套结构的layers配置;而中间层嵌套了自定义的Model实例,旧版本Keras不会自动收集这类自定义模块的配置,自然会在config中缺失对应字段。 - 贴出的加载代码存在明显笔误:
tf.keras.models.load_model的第一个参数必须是已保存模型的文件路径字符串,不能传入模型实例本身,否则会触发路径类型校验错误。
可行的解决办法(按优先级排序)
1. 复用已保存的权重文件,跳过整体结构加载
已经单独执行save_weights保存权重,完全不需要通过load_model重建整个模型结构,直接实例化和训练时结构完全一致的自定义模型,再加载权重即可,全程不会触发config反序列化逻辑,彻底规避该报错。
示例代码:
# 实例化自定义模型,传入和训练时完全一致的初始化参数 self.model = YourNestedCustomModel(参数1=xxx, 参数2=xxx) # 加载已保存的权重 self.model.load_weights(model_weights_path)
该方法完全适配当前自定义Model的结构,满足访问所有层权重的需求。
2. 更换模型保存格式,弃用HDF5格式
如果需要整体保存模型结构,换用TensorFlow原生的SavedModel格式保存即可,该格式直接存储模型的计算图和权重,不依赖config反序列化重建结构,对嵌套自定义Model的支持远好于HDF5。
修改保存代码:
# 不需要指定save_format,默认保存为SavedModel目录格式 self.model.save(model_path)
加载时传入对应文件路径和自定义对象即可,不会出现layers键缺失的问题。
3. 必须使用HDF5格式时的修复方式
如果必须使用h5格式保存加载,需要为每一层自定义Model类手动实现完整的序列化逻辑,确保所有内部子层的配置都被写入config中:
- 为自定义Model类实现
get_config()方法,将所有初始化参数、内部包含的子层/子模型的序列化配置存入返回的config字典 - 实现对应的
from_config()类方法,在反序列化时将config中的字段还原为模型实例
示例实现:
class MiddleCustomModel(tf.keras.Model): def __init__(self, inner_model, dense_units, **kwargs): super().__init__(**kwargs) # 内部嵌套的底层自定义Model self.inner_model = inner_model self.dense = tf.keras.layers.Dense(dense_units) def call(self, inputs): x = self.inner_model(inputs) return self.dense(x) def get_config(self): # 调用父类方法获取基础配置 config = super().get_config() # 将内部子层的序列化配置加入config config.update({ "inner_model": tf.keras.layers.serialize(self.inner_model), "dense_units": self.dense.units }) return config @classmethod def from_config(cls, config): # 反序列化时将config中的字段还原为实例 inner_model = tf.keras.layers.deserialize(config.pop("inner_model")) return cls(inner_model=inner_model, **config)
注意所有嵌套的自定义Model都需要按照上述方式实现序列化逻辑,否则仍会出现config缺字段的问题。
内容的提问来源于stack exchange,提问作者Spuds
相关产品推荐
相关产品推荐

