深度学习多类别多标签分类损失函数计算及模型准确率不升问题咨询

一、多标签场景下binary_crossentropy的数学计算逻辑 #

多标签分类任务中每个输出标签相互独立，每个输出节点对应一个独立二分类任务，binary_crossentropy的计算规则如下：
设单条样本共有K个标签（你当前场景K=4）：

• $y_k$ 代表第k个标签的真实取值，为0或1
• $p_k$ 代表模型sigmoid层输出的第k个标签为正类的预测概率，取值范围在0到1之间

单条样本的损失计算公式为：
$$Loss = -\frac{1}{K}\sum_{k=1}^{K}[y_k \cdot log(p_k) + (1-y_k) \cdot log(1-p_k)]$$
全量批次的损失为所有样本损失的平均值。

和单标签分类使用的categorical_crossentropy不同，该损失不需要所有标签的预测概率和为1，每个标签的计算完全独立，符合多标签场景下多个标签可同时为正的特性。

二、训练准确率无稳定提升的问题分析与优化方案 #

核心问题定位 #

1. 特征归一化逻辑错误
   你自定义的MinMaxScaler是对所有特征全局计算最大值、最小值做缩放，不符合归一化的常规实现逻辑：正确的MinMaxScaler需要对每个特征列单独做缩放，保证每个特征的取值范围都落在[0,1]区间，全局缩放会导致不同特征的尺度分布紊乱，影响模型收敛。
2. 批次大小设置不合理
   你设置的batch_size=1属于随机梯度下降，梯度更新的震荡幅度极大，直接导致验证集准确率波动剧烈（从0.435到0.652大幅跳动），模型难以收敛到稳定的最优解。
3. 评价指标选型错误
   Keras默认的accuracy指标在多标签场景下的判定规则是：只有样本的所有标签预测结果全部和真实值一致时，才判定为预测正确，只要有1个标签预测错误就算整条样本预测错误。因此会出现损失持续下降，但准确率浮动大、提升不明显的情况：损失是所有标签的损失平均值，只要部分标签预测正确就会下降，而默认准确率要求全对才算正确，提升难度大。
4. 模型容量与输入维度不匹配
   你的输入特征只有4维，但网络隐层神经元最大到64，多层堆叠后模型容量过大，容易出现过拟合倾向，也会导致训练不稳定。

可落地优化建议 #

• 修正归一化逻辑：对每一列特征单独做MinMax缩放，也可以直接调用sklearn.preprocessing.MinMaxScaler实现，避免自定义出错。
• 调整批次大小：将batch_size调整为16、32、64这类常规值，降低梯度震荡，提升训练稳定性。
• 更换多标签适配的评价指标：放弃默认的accuracy，改用Hamming距离、分类平均F1、每个标签单独计算准确率后取平均值这类适配多标签场景的指标，更能反映模型的真实效果。
• 精简模型结构：可以减少隐层数量或者降低隐层神经元数，比如改为2层隐层，每层16/8个神经元，匹配4维输入的特征容量，也可以在隐层后加入Dropout层（比如参数设为0.2）缓解过拟合。
• 调整训练配置：适当调大训练轮数，若使用早停策略可将patience参数调整为5-10，避免模型还没收敛就提前停止训练。

内容的提问来源于stack exchange，提问作者BeTree