TensorFlow中使用Sequential模型触发权重未创建错误如何解决？

错误原因 #

这个报错是Keras的延迟权重初始化机制导致的，核心原因如下：

• 你定义的point_wise_feed_forward_network返回的是Sequential模型，内部的Dense层属于带可训练参数的层，Keras默认不会在初始化阶段就创建权重，只有第一次接收真实输入张量时，才会根据输入的最后一维特征数推导权重的shape，完成初始化。
• 你仅在自定义层的__init__方法中初始化了网络结构，还没有触发过对应前馈网络的第一次前向传播时，权重本身是不存在的。当你在tf.GradientTape中调用transformer.trainable_variables获取可训练参数计算梯度时，Keras会递归遍历所有子层的权重，此时检测到未初始化的Sequential模型就会抛出该错误。

解决方案 #

可以任选以下任意一种方法解决：

• 方案1：训练前预跑一次dummy输入
  在完成Transformer模型的初始化后，传入一组和真实训练输入shape一致的随机张量跑一次前向，触发所有权重的初始化：

  # 示例，batch_size、输入序列长度按你的实际场景修改
  _ = transformer(
      tf.random.uniform((2, 128)), # 编码器输入shape：(batch_size, enc_seq_len)
      tf.random.uniform((2, 128)), # 解码器输入shape：(batch_size, dec_seq_len)
      training=False
  )
  

• 方案2：定义前馈网络时指定输入shape，提前完成权重构建
  给前馈网络的第一层Dense增加input_shape参数，固定输入的特征维度，初始化阶段就完成权重创建：

  def point_wise_feed_forward_network(d_model, dff):
    return tf.keras.Sequential([
        # None代表序列长度可变，最后一维固定为d_model
        tf.keras.layers.Dense(dff, activation='relu', input_shape=(None, d_model)),
        tf.keras.layers.Dense(d_model)
    ])
  

• 方案3：在自定义层的build方法中手动触发权重构建
  在自定义层的build方法中手动调用前馈网络的build方法，传入匹配的输入shape：

  class Foo(tf.keras.layers.Layer):
     def __init__(self, d_model, dff):
        super().__init__()
        self.d_model = d_model
        self.net = point_wise_feed_forward_network(d_model, dff)
     def build(self, input_shape):
        # 输入shape最后一维为d_model，前两维是batch_size、seq_len可变
        self.net.build(input_shape=(None, None, self.d_model))
        super().build(input_shape)
  

内容的提问来源于stack exchange，提问作者OK 400