投手投球类型预测神经网络微调及Loss暴涨问题求助

问题概述 #

• 任务：投手投球类型预测，输入为4项特征（击球手左右手、坏球数、好球数、出局数）
• 核心异常：训练阶段Loss指数上升，精度指数下降
• 已尝试调整：模型架构、损失函数（MSE、Binary Crossentropy）、优化器（SGD）、神经元数量，仅改变问题表现未解决根本问题
• 数据集规模：2818行，认为数据量足够
• 疑问：是否应采用Adam优化器+Categorical Crossentropy损失函数

现有模型代码 #

import keras

model_3 = Sequential([
    Dense(8, activation='relu', kernel_regularizer=regularizers.l2(0.01), input_shape=(3,)),
    Dropout(0.2),
    Dense(8, activation='relu', kernel_regularizer=regularizers.l2(0.01)),
    Dropout(0.2),
    Dense(1, activation='sigmoid', kernel_regularizer=regularizers.l2(0.01)),
])

optimizer = keras.optimizers.Adam(lr=0.001)

model_3.compile(optimizer= optimizer,
              loss='categorical_crossentropy',
              metrics=['accuracy'])
              
hist_3 = model_3.fit(X_train, Y_train,
          batch_size=32, epochs=100,
          validation_data=(X_val, Y_val))

关键问题排查与优化方向 #

1. 输入维度与特征数量不匹配 #

输入声明input_shape=(3,)，但实际有4项输入特征，维度不匹配会直接引发训练异常，是Loss飙升的核心原因之一。需修正为input_shape=(4,)。

2. 损失函数与输出层完全不匹配 #

• 输出层为Dense(1, activation='sigmoid')，属于二分类任务，应使用binary_crossentropy损失函数，而非categorical_crossentropy（后者用于多分类且标签为one-hot编码的场景）。
• 若投球类型为多分类（超过2种），需调整输出层：神经元数量改为类别总数，激活函数换为softmax，同时根据标签编码方式选择categorical_crossentropy（one-hot编码）或sparse_categorical_crossentropy（整数编码）。

3. 正则化强度过高 #

当前L2正则化系数设为0.01，对于2818行的小数据集和简单模型来说强度过大，会过度约束权重更新，导致模型无法拟合数据。建议先移除正则化，或把系数降至0.001及以下，再观察训练变化。

4. 缺失数据预处理步骤 #

数值型特征（坏球数、好球数、出局数）的量级差异会导致模型训练不稳定，必须对所有输入特征做标准化处理（如用StandardScaler将特征缩放到均值为0、方差为1的范围）。

5. 模型架构过于保守 #

当前模型同时加入Dropout和L2正则化，对于小规模数据集来说可能过度抑制拟合能力。建议先从极简模型开始验证：

# 简化版参考模型
model = Sequential([
    Dense(8, activation='relu', input_shape=(4,)),
    Dense(1, activation='sigmoid')
])
model.compile(optimizer=keras.optimizers.Adam(lr=0.001),
              loss='binary_crossentropy',
              metrics=['accuracy'])

6. 训练过程精准监控 #

训练时重点观察训练集与验证集的Loss/精度变化：

• 若训练集Loss也飙升，说明模型配置或数据存在根本性错误（如输入维度、损失函数不匹配）
• 若仅验证集异常，再考虑过拟合问题，此时逐步加入正则化、Dropout等约束

验证步骤建议 #

1. 先修正输入维度和损失函数的匹配问题，用简化模型训练，确认Loss是否能正常下降
2. 加入数据标准化后再次训练，观察效果变化
3. 若仍有异常，检查标签格式是否正确（如二分类标签是否为0/1，多分类标签编码是否规范）
4. 最后根据训练表现，逐步调整模型复杂度（增加神经元、加入正则化等）

内容的提问来源于stack exchange，提问作者Daniel Hadley