PyTorch双输入回归模型测试输出恒同问题排查与代码修正

核心问题分析 #

出现"测试输出恒为同一值"的典型原因有以下几点：

• Conv1d特征提取失效：高维向量输入的Conv1d层缺少激活函数、核大小设置不合理，导致无法提取有效特征，模型退化为输出固定值（比如训练集标签的均值）。
• 梯度消失/权重退化：网络深层的梯度无法有效传递，导致Conv1d或全连接层的权重趋近于0，最终输出仅由偏置项决定。
• 数据预处理缺失：高维输入未做归一化，数值范围差异过大导致模型无法学习；或训练集标签分布极端（如多数样本标签相同）。
• 训练策略不当：学习率过高/过低、批量大小不合理，导致模型无法收敛到有效参数空间。

修正后的模型与训练代码 #

1. 改进的模型结构 #

添加激活函数、调整Conv1d参数，确保特征有效提取：

import tensorflow as tf
from tensorflow.keras import layers, Model

def build_dual_input_model(input1_dim, input2_dim):
    # 高维向量输入分支（Conv1d特征提取）
    input1 = layers.Input(shape=(input1_dim, 1))  # Conv1d要求输入形状为(长度, 通道数)
    x1 = layers.Conv1D(filters=32, kernel_size=5, padding='same', activation='relu')(input1)
    x1 = layers.MaxPooling1D(pool_size=2)(x1)
    x1 = layers.Conv1D(filters=16, kernel_size=3, padding='same', activation='relu')(x1)
    x1 = layers.GlobalAveragePooling1D()(x1)  # 全局池化避免维度爆炸

    # 第二个输入分支
    input2 = layers.Input(shape=(input2_dim,))
    x2 = layers.Dense(32, activation='relu')(input2)

    # 融合分支
    merged = layers.concatenate([x1, x2])
    output = layers.Dense(1)(merged)  # 回归任务输出单值

    model = Model(inputs=[input1, input2], outputs=output)
    model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=1e-4),
                  loss='mse')
    return model

2. 数据预处理修正 #

对输入数据做归一化，确保模型稳定学习：

import numpy as np

# 假设input1是高维向量数据，shape=(n_samples, input1_dim)
# input2是低维输入，shape=(n_samples, input2_dim)
# labels是回归标签，shape=(n_samples,)

# 归一化处理
input1 = np.expand_dims(input1, axis=-1)  # 适配Conv1d的通道维度
input1 = (input1 - np.mean(input1, axis=0)) / np.std(input1, axis=0)
input2 = (input2 - np.mean(input2, axis=0)) / np.std(input2, axis=0)

# 拆分训练测试集
from sklearn.model_selection import train_test_split
x1_train, x1_test, x2_train, x2_test, y_train, y_test = train_test_split(
    input1, input2, labels, test_size=0.2, random_state=42
)

3. 训练过程优化 #

添加早停、验证监控，避免过拟合或不收敛：

early_stopping = tf.keras.callbacks.EarlyStopping(
    monitor='val_loss', patience=5, restore_best_weights=True
)

model = build_dual_input_model(input1_dim=100, input2_dim=10)
history = model.fit(
    [x1_train, x2_train], y_train,
    batch_size=32,
    epochs=50,
    validation_data=([x1_test, x2_test], y_test),
    callbacks=[early_stopping]
)

关键知识点解析 #

• Conv1d的输入要求：必须是(样本数, 序列长度, 通道数)，因此高维向量需要额外添加通道维度（expand_dims）。
• 激活函数的作用：ReLU等激活函数打破线性性，避免Conv1d退化为线性变换，确保特征非线性提取。
• 全局池化的意义：替代Flatten层，减少参数数量，避免过拟合，同时将变长特征映射为固定长度向量。
• 数据归一化：使各特征的数值范围一致，避免模型被数值大的特征主导，加速收敛。
• 早停机制：监控验证集损失，当损失不再下降时停止训练，恢复最优权重，防止模型过拟合或收敛到局部最优。

内容的提问来源于stack exchange，提问作者U th