You need to enable JavaScript to run this app. tf.keras子模型训练、保存、加载行为及嵌套模型参数共享验证
优惠活动
大模型
产品
解决方案
定价
更多

tf.keras子模型训练、保存、加载行为及嵌套模型参数共享验证

tf.keras嵌套自定义模型训练行为说明

核心待验证问题

在使用tf.keras搭建嵌套自定义模型的过程中,需要明确子模型在训练、保存与加载全流程的实际运行行为,核心待确认的问题是:完成初始模型构建后,全局是仅存在1份badger模型实例,还是mushroom模型会在内部生成一份独立的badger模型副本。

设计目标是全局仅保留1份badger模型实例,能够交替将其作为mushroom的子组件、或作为独立模型开展训练,但前期测试受数据噪声影响,损失观测结果无法明确区分训练时是否存在两份相互独立的badger模型被同步更新。

现有模型实现

badger子模型构建

def build_badger():
  badger_input = keras.Input(shape=(100, 100), name='badger_input')
  x = badger_input

  # 中间自定义层逻辑
  x = keras.layers.Conv2D(..)(x)
  ..

  # 输出分支
  z = keras.layers.Dense(10, name='to_mushroom')(x)
  y = keras.layers.Dense(1, activation='sigmoid', name='badger_prediction')(x)

  return keras.Model(
      name='badger',
      inputs={'badger_input': badger_input},
      ouputs={'badger_prediction': y, 'to_mushroom': z}
  )

mushroom主模型构建

主模型计算逻辑依赖badger模型输出的多步特征,构建时直接实例化badger作为内部子层:

def build_mushroom():
  mushroom_input = keras.Input(shape=(10, 100, 100), name='mushroom_input')
  badger = build_badger()

  # 对输入的10个时间步依次调用badger提取特征
  badger_result = [badger(mushroom_input[:, n], training=True)['to_mushroom'] for n in range(10)]
  x = keras.layers.Concatenate()(badger_result)

  # 中间自定义层逻辑
  x = keras.layers.Reshape(..)(x)
  ..

  y = keras.layers.Dense(1, activation='sigmoid', name='mushroom_prediction')(x)

  return keras.Model(
      name='mushroom',
      inputs={'mushroom_input': badger_input},
      ouputs={'mushroom_prediction': y}
  )

# 构建主模型后,从主模型的层列表中提取badger实例
mushroom = build_mushroom()
badger = mushroom.get_layer('badger')

训练与保存加载流程

拟定的训练节奏为每轮循环先独立训练badger,再训练mushroom主模型,每轮训练完成后保存主模型检查点,支持加载检查点后续训:

def training_loop(n):
    for _ in range(n): 
        badger.compile(..)
        # 独立训练badger模型
        badger.fit(epochs=10, ..)

        mushroom.compile(..)
        # 训练主模型
        mushroom.fit(epochs=1)

        # 保存主模型检查点
        mushroom.save(checkpoint_path)


def load_trained_models():
    # 从检查点加载主模型,再提取badger实例
    mushroom = keras.models.load_model(checkpoint_path)
    badger = mushroom.get_layer('badger')

实际使用流程为:

# 从零开始训练模型
training_loop(10)

# 加载已保存的检查点
load_trained_models()

# 基于加载的状态继续训练
training_loop(10)

观测参考

当前训练过程的损失对比如下:
loss comparison
训练执行顺序为:每轮先对badger模型训练10个epoch,再对mushroom模型训练1个epoch,按该节奏循环执行。


内容的提问来源于stack exchange,提问作者Jesper Tveit

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.02 00:15:03