基于并行神经网络动态权重分配的CNN回归模型优化问题

我在优化CNN回归模型时，希望通过并行网络为每个数据点分配0-1权重，弱化噪声数据的影响——噪声数据权重低，正常数据权重高。当前实现是双网络共享输入：回归CNN输出预测值，并行网络输出权重，损失用加权MSE（sum((Y_i-T_i)^2)*W_i）。但模型总是收敛到极小的W_i，加正则项后效果仍远不如不用权重网络的情况。

以下是针对性的解决思路：

1. 重构损失函数：惩罚权重偏离1的行为 #

原损失仅鼓励降低加权误差，模型会自然通过压小权重来减小损失。需改为同时约束加权误差和权重偏离1的程度，让模型只有在数据确实为噪声时才降低权重：

def custom_loss(y_true, y_pred):
    regression = y_pred[:, 0]
    weight = y_pred[:, 1]
    # 加权MSE损失
    mse_loss = tf.reduce_mean(weight * tf.square(y_true - regression))
    # 惩罚权重偏离1，lambda_penalty控制惩罚强度
    lambda_penalty = 0.15
    weight_penalty = tf.reduce_mean(tf.square(1 - weight))
    return mse_loss + lambda_penalty * weight_penalty

通过(1 - weight)^2惩罚项，引导模型优先给正常数据分配接近1的权重，只有当降权能显著减少MSE时，才会选择小权重。可根据数据集调整lambda_penalty：权重仍偏小就增大值，模型不敢给噪声降权就减小值。

2. 让权重网络用卷积提取空间特征 #

当前权重网络直接Flatten输入后用全连接，无法捕捉图像类数据的空间噪声特征（如局部模糊、异常像素块）。改成和回归CNN类似的卷积结构，能更精准识别噪声：

# 替换原权重网络结构
x1 = Conv2D(32, 3, 1, activation='relu', data_format="channels_last")(inputs)
x1 = MaxPooling2D()(x1)
x1 = BatchNormalization()(x1)
x1 = Conv2D(64, 2, activation='relu')(x1)
x1 = MaxPooling2D()(x1)
x1 = Flatten()(x1)
x1 = Dense(64, activation='relu', kernel_regularizer=tf.keras.regularizers.l2(0.001))(x1)
weight_output = Dense(1, activation='sigmoid', name='weight_output')(x1)
# 移除强制max到0.1，由惩罚项约束权重下限

3. 调整权重网络的初始化 #

让权重网络初始输出接近1，避免模型一开始就倾向于小权重。可在最后一层Dense设置偏置初始值：

weight_output = Dense(1, activation='sigmoid', name='weight_output',
                      bias_initializer=tf.keras.initializers.Constant(2.0))(x1)

sigmoid(2)≈0.88，初始权重接近1，引导模型先尝试信任数据，再逐步给噪声降权。

4. 分阶段训练避免权重“偷懒” #

先单独训练回归CNN到稳定精度，再固定回归网络参数训练权重网络，最后一起微调：

# 第一步：单独训练回归CNN
regression_model = Model(inputs=inputs, outputs=regression_output)
regression_model.compile(optimizer='adam', loss='mse', metrics=['mae'])
regression_model.fit(x_train, y_train, epochs=20)

# 第二步：固定回归CNN，训练权重网络
for layer in regression_model.layers:
    layer.trainable = False

combined_output = Concatenate()([regression_output, weight_output])
model = Model(inputs=inputs, outputs=combined_output)
model.compile(optimizer='adam', loss=custom_loss, metrics=['mae'])
model.fit(x_train, y_train, epochs=10)

# 第三步：解冻部分层微调
for layer in regression_model.layers[-3:]:
    layer.trainable = True
model.compile(optimizer=tf.keras.optimizers.Adam(1e-5), loss=custom_loss, metrics=['mae'])
model.fit(x_train, y_train, epochs=5)

分阶段训练能避免权重网络一开始就通过压小权重“偷懒”，先让回归模型学到有效特征，再让权重网络学会识别噪声。

内容的提问来源于stack exchange，提问作者sminkopk