tf.keras子模型训练、保存、加载行为及嵌套模型参数共享验证
tf.keras嵌套自定义模型训练行为说明
核心待验证问题
在使用tf.keras搭建嵌套自定义模型的过程中,需要明确子模型在训练、保存与加载全流程的实际运行行为,核心待确认的问题是:完成初始模型构建后,全局是仅存在1份badger模型实例,还是mushroom模型会在内部生成一份独立的badger模型副本。
设计目标是全局仅保留1份badger模型实例,能够交替将其作为mushroom的子组件、或作为独立模型开展训练,但前期测试受数据噪声影响,损失观测结果无法明确区分训练时是否存在两份相互独立的badger模型被同步更新。
现有模型实现
badger子模型构建
def build_badger(): badger_input = keras.Input(shape=(100, 100), name='badger_input') x = badger_input # 中间自定义层逻辑 x = keras.layers.Conv2D(..)(x) .. # 输出分支 z = keras.layers.Dense(10, name='to_mushroom')(x) y = keras.layers.Dense(1, activation='sigmoid', name='badger_prediction')(x) return keras.Model( name='badger', inputs={'badger_input': badger_input}, ouputs={'badger_prediction': y, 'to_mushroom': z} )
mushroom主模型构建
主模型计算逻辑依赖badger模型输出的多步特征,构建时直接实例化badger作为内部子层:
def build_mushroom(): mushroom_input = keras.Input(shape=(10, 100, 100), name='mushroom_input') badger = build_badger() # 对输入的10个时间步依次调用badger提取特征 badger_result = [badger(mushroom_input[:, n], training=True)['to_mushroom'] for n in range(10)] x = keras.layers.Concatenate()(badger_result) # 中间自定义层逻辑 x = keras.layers.Reshape(..)(x) .. y = keras.layers.Dense(1, activation='sigmoid', name='mushroom_prediction')(x) return keras.Model( name='mushroom', inputs={'mushroom_input': badger_input}, ouputs={'mushroom_prediction': y} ) # 构建主模型后,从主模型的层列表中提取badger实例 mushroom = build_mushroom() badger = mushroom.get_layer('badger')
训练与保存加载流程
拟定的训练节奏为每轮循环先独立训练badger,再训练mushroom主模型,每轮训练完成后保存主模型检查点,支持加载检查点后续训:
def training_loop(n): for _ in range(n): badger.compile(..) # 独立训练badger模型 badger.fit(epochs=10, ..) mushroom.compile(..) # 训练主模型 mushroom.fit(epochs=1) # 保存主模型检查点 mushroom.save(checkpoint_path) def load_trained_models(): # 从检查点加载主模型,再提取badger实例 mushroom = keras.models.load_model(checkpoint_path) badger = mushroom.get_layer('badger')
实际使用流程为:
# 从零开始训练模型 training_loop(10) # 加载已保存的检查点 load_trained_models() # 基于加载的状态继续训练 training_loop(10)
观测参考
当前训练过程的损失对比如下:
训练执行顺序为:每轮先对badger模型训练10个epoch,再对mushroom模型训练1个epoch,按该节奏循环执行。
内容的提问来源于stack exchange,提问作者Jesper Tveit
相关产品推荐
相关产品推荐

