SimpleRNN自定义损失函数优化离群点BMI预测效果不佳排查

1. 模型结构定义顺序错误 #

你在model.compile()执行后才添加了最后一层Dropout(0.1)，Keras中模型编译后新增的层不会生效，且所有层定义必须放在编译、训练步骤之前。此外你在输出层前加入了过多Dropout，随机失活神经元会弱化模型拟合极端离群值的能力，导致输出全部向样本均值收敛（你当前的预测值全部集中在16~17区间就是典型表现）。

2. 输入形状配置不匹配 #

你当前给SimpleRNN设置的input_shape=(25,1)表示输入为25个时间步、每个时间步仅1个特征，和你“基于25项不同特征预测BMI”的需求不符：

• 如果是25个非时序的静态特征，RNN的输入形状应该调整为(1,25)，且训练数据要对应reshape为(样本数, 1, 25)
• 如果是时序数据25个时间步、每个时间步包含多特征，你的输入形状漏了特征维度，需对应调整

3. 自定义损失函数存在梯度爆炸风险 #

你当前的损失逻辑为损失大于2时直接返回loss*5，离群点本身的损失值就很高，乘5后会产生极大梯度，要么导致模型更新震荡不收敛，要么为了压低整体损失直接向多数样本的均值拟合，放弃离群点的预测。可以修改为固定额外惩罚避免梯度爆炸，参考写法：

def custom_loss(y_true, y_pred):
    loss = K.abs(y_pred - y_true)
    # 损失大于2时额外加4的惩罚，等效于高损失样本权重更高，但不会随损失放大梯度
    loss_mae = K.switch(loss > 2, loss + 4, loss)
    return loss_mae

4. 训练配置缺失 #

你调用model.fit()时没有指定训练轮次epochs、批次大小batch_size，默认仅训练1轮，模型完全没有收敛，自然无法学习到离群点的规律。需要根据你的数据集规模调整训练轮次，同时可以加入梯度裁剪规避自定义损失带来的梯度问题。

修复后的参考代码 #

import keras.backend as K
from keras.models import Sequential
from keras.layers import SimpleRNN, Dense, Dropout

def custom_loss(y_true, y_pred):
    loss = K.abs(y_pred - y_true)
    # 调低惩罚倍数，平衡离群点拟合和梯度稳定性
    loss_mae = K.switch(loss > 2, loss * 3, loss)
    return loss_mae

# 非时序25特征的输入reshape示例，时序场景可自行调整形状
train_x = train_x.reshape(-1, 1, 25)
test_x = test_x.reshape(-1, 1, 25)

model = Sequential()
model.add(SimpleRNN(units=64, input_shape=(1, 25), activation="relu"))
model.add(Dense(32, activation="relu"))
# 降低Dropout比例，减少对极端值拟合的干扰
model.add(Dropout(0.1))
model.add(Dense(1, activation="linear"))
# 编译时加入梯度裁剪，避免自定义损失导致梯度过大
model.compile(loss=custom_loss, optimizer=keras.optimizers.Adam(clipvalue=1.0))
model.summary()
# 指定训练轮次和验证集，观察收敛情况
model.fit(train_x, train_y, epochs=50, batch_size=16, validation_split=0.2)

内容的提问来源于stack exchange，提问作者shwts