如何用TensorFlow函数式模型定义子模型？Transformer1报错及流形混合实现

一、解决输入形状不匹配报错 #

首先排查原模型transformer1的输入规格，再针对性调整输入适配逻辑：

1. 查看原模型的输入形状
   运行以下代码确认transformer1期望的输入维度：

print(transformer1.input_shape)

输出可能是(None, 512)（一维向量）或(None, 128, 64)（序列特征，seq_len=128，dim=64）这类格式。

2. 输入适配方案

• 如果原模型输入是一维向量（如(None, 512)），但你的输入是(None, 1088)：
  添加Dense层将输入维度转换为原模型期望的大小：

  input_layer = tf.keras.Input(shape=(1088,))
  # 适配到原模型输入维度
  adapted_input = tf.keras.layers.Dense(512, activation='relu')(input_layer)
  # 基于transformer1构建部分模型，比如取前N层输出
  partial_output = transformer1.layers[1](adapted_input)  # 跳过原模型的输入层
  partial_model = tf.keras.Model(inputs=input_layer, outputs=partial_output)
  

• 如果原模型输入是三维序列特征（如(None, seq_len, dim)）：
  将一维的(None,1088)reshape为三维形状（需确保seq_len * dim = 1088，比如34*32=1088）：

  input_layer = tf.keras.Input(shape=(1088,))
  # 转换为序列形状
  reshaped_input = tf.reshape(input_layer, (-1, 34, 32))  # 34是seq_len，32是dim
  # 连接到transformer1的对应层
  partial_output = transformer1.layers[1](reshaped_input)
  partial_model = tf.keras.Model(inputs=input_layer, outputs=partial_output)
  

二、在TensorFlow函数式模型上实现Manifold Mixup #

Manifold Mixup的核心是在模型中间层的特征上执行样本混合，而非输入层。以下是具体实现步骤：

1. 自定义Manifold Mixup层
   创建一个可插入模型的层，仅在训练阶段执行特征混合：

class ManifoldMixupLayer(tf.keras.layers.Layer):
    def __init__(self, alpha=0.2, **kwargs):
        super().__init__(**kwargs)
        self.alpha = alpha  # Beta分布的参数，控制混合程度

    def call(self, inputs, training=None):
        if not training:
            return inputs, tf.constant(1.0)  # 测试阶段不混合，返回系数1

        batch_size = tf.shape(inputs)[0]
        # 从Beta分布采样混合系数
        lam = tf.random.beta([batch_size], self.alpha, self.alpha)
        lam = tf.expand_dims(lam, axis=-1)  # 扩展维度匹配特征形状

        # 打乱batch内样本顺序，用于混合
        shuffle_indices = tf.random.shuffle(tf.range(batch_size))
        mixed_features = lam * inputs + (1 - lam) * tf.gather(inputs, shuffle_indices)
        return mixed_features, lam

2. 在函数式模型中插入Mixup层
   选择transformer1的某一中间层（比如第3个encoder层）之后插入Mixup层，构建完整模型：

# 先完成输入适配（参考第一部分的代码）
input_layer = tf.keras.Input(shape=(1088,))
adapted_input = tf.keras.layers.Dense(512)(input_layer)

# 遍历transformer1的层，在指定位置插入Mixup
x = adapted_input
mixup_inserted = False
for layer in transformer1.layers[1:]:  # 跳过原模型的输入层
    x = layer(x)
    # 比如在第2层后插入Mixup
    if layer.name == 'encoder_layer_2' and not mixup_inserted:
        x, lam = ManifoldMixupLayer(alpha=0.2)(x)
        mixup_inserted = True

# 构建模型，输出包含预测结果和混合系数
model = tf.keras.Model(inputs=input_layer, outputs=[x, lam])

3. 自定义Mixup损失函数
   使用混合系数lam计算加权损失，适配Mixup的样本混合逻辑：

def manifold_mixup_loss(y_true, y_pred_and_lam):
    y_pred, lam = y_pred_and_lam
    batch_size = tf.shape(y_true)[0]
    # 对应Mixup的标签打乱
    shuffle_indices = tf.random.shuffle(tf.range(batch_size))
    y_shuffled = tf.gather(y_true, shuffle_indices)

    # 计算加权交叉熵损失（根据任务类型调整损失函数）
    loss = lam * tf.keras.losses.categorical_crossentropy(y_true, y_pred) + \
           (1 - lam) * tf.keras.losses.categorical_crossentropy(y_shuffled, y_pred)
    return tf.reduce_mean(loss)

4. 模型编译与训练
   用自定义损失函数编译模型，训练时自动触发Mixup逻辑：

model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=1e-4),
              loss=manifold_mixup_loss)

# 训练模型（确保training参数默认True）
model.fit(train_dataset, epochs=10, validation_data=val_dataset)

内容的提问来源于stack exchange，提问作者cwk644