Keras构建多视图VAE时输入维度不兼容错误求助

错误核心原因 #

1. 模型结构设计错误：错误将decoder_input作为外部输入传入模型，VAE的解码器应直接接收编码器的编码输出，无需单独传入外部输入。
2. 类别数计算错误：用字典键的数量作为num_classes，实际应为分类任务的输出维度（即标签y的列数）。
3. 训练输入不匹配：传入原始数据作为decoder_input，其维度与模型期望的「隐变量维度+类别数」维度完全不符。
4. 验证数据格式错误：错误转置验证数据，且输入数量与模型要求不匹配。

分步修复代码 #

1. 修正VAE模型结构 #

移除不必要的decoder_input输入，让解码器直接接收编码器的输出；同时调整分类层激活函数适配多任务二分类场景：

def create_vae(input_dim, latent_dim, learning_rate, num_classes, dropout_rate):
    # Encoder
    encoder_inputs = layers.Input(shape=(input_dim,), name='encoder_input')
    y_input = layers.Input(shape=(num_classes,), name='class_input')
    
    z = layers.Dense(latent_dim, activation='relu')(encoder_inputs)
    z = layers.Dropout(dropout_rate)(z)

    # Concatenate encoded output with class labels
    z_with_class = layers.Concatenate(name='concat_layer')([z, y_input])

    # Decoder: 直接使用编码器输出作为输入，无需外部传入decoder_input
    x_decoded = layers.Dense(input_dim, activation='sigmoid')(z_with_class)

    # Classification layer: 多任务二分类用sigmoid激活
    classification_layer = layers.Dense(num_classes, activation='sigmoid', name='classification')(z_with_class)

    # Full model: 输入仅包含原始数据和标签，输出为重构结果和分类结果
    full_model = models.Model([encoder_inputs, y_input], [x_decoded, classification_layer], name='full_model')

    def custom_loss(y_true, y_pred):
        reconstruction_loss = tf.keras.losses.binary_crossentropy(y_true[0], y_pred[0])
        # 多任务二分类使用binary_crossentropy而非sparse_categorical_crossentropy
        classification_loss = tf.keras.losses.binary_crossentropy(y_true[1], y_pred[1])
        return reconstruction_loss + classification_loss

    full_model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate), loss=custom_loss, metrics=['accuracy'])

    return full_model

2. 修正类别数计算 #

替换错误的best_num_classes计算逻辑：

# 原来的错误计算：best_num_classes = len(np.unique(train_labels))
# 修正为：使用标签y的列数作为分类任务数
best_num_classes = y.shape[1]

3. 修正训练代码输入与验证数据 #

移除decoder_input的传入，同时修正验证数据格式：

# Train VAE models
for key in train_data_dict.keys():
    encoder_inputs = train_data_dict[key][0]
    y_input = train_data_dict[key][1]
    
    print(f"{key}: x shape={encoder_inputs.shape}, y shape={y_input.shape}")
    assert key in vae_models, f"Key {key} not found in vae_models"
    
    vae_models[key].fit(
        x=[encoder_inputs, y_input],
        y=[encoder_inputs, y_input],
        epochs=best_epochs,
        batch_size=best_batch_size,
        validation_data=(
            [val_data_dict[key][0], val_data_dict[key][1]],
            [val_data_dict[key][0], val_data_dict[key][1]]
        ),
        verbose=1
    )

4. 修正输入维度计算与清理无用代码 #

• 修正输入维度计算逻辑（无需转置）：

for key, (train_data, _) in train_data_dict.items():
    input_dim = train_data.shape[1]  # 替换原来的train_data.T.shape[1]
    vae_models[key] = create_vae(input_dim=input_dim, latent_dim=best_latent_dim, 
                             learning_rate=best_learning_rate, 
                             num_classes=best_num_classes,
                             dropout_rate=best_dropout_rate)

• 删除无用的train_labels/val_labels/test_labels定义代码块。

内容的提问来源于stack exchange，提问作者Anon