TensorFlow1.15+Keras2.3.1模型softmax输出全零仅单1修复咨询

问题原因说明 #

你遇到的softmax输出极端化问题本质是：最后一层全连接层输出的logits数值差异过大，softmax的归一化机制会将最大值对应的维度输出挤压至接近1，其余维度被压缩到接近0。ReLU激活没有归一化操作，因此替换后不会出现该类极端输出。

修复方案 #

1. 检查数据与标签正确性 #

• 确认多分类标签为正确的one-hot编码，不存在标签错乱、数据集类别极端不平衡的问题
• 检查输入的768维特征是否做了归一化/标准化：如果输入特征数值范围过大，会经过多层全连接传播后放大数值差异，建议将输入特征标准化到均值为0、方差为1的区间

2. 优化模型结构 #

你当前代码中Dense层重复声明input_shape属于冗余写法，Keras Sequential会自动推导上层输出的输入形状，无需额外声明。同时可做如下修改：

• 给全连接层添加适配ReLU激活的权重初始化器，避免初始权值过大导致输出爆炸
• 在最后一层Softmax前添加LayerNormalization层，压缩输入到最后一层的数值范围
  修改后的模型代码示例：

model = keras.Sequential()
model.add(L.InputLayer(batch_input_shape= (None, 768)))
model.add(L.Dense(units = 256, activation='relu', kernel_initializer='he_normal'))
model.add(Dropout(0.25))
model.add(L.Dense(units = 128, activation='relu', kernel_initializer='he_normal'))
model.add(Dropout(0.25))
# 新增层归一化
model.add(L.LayerNormalization())
model.add(L.Dense(units = len(tensor_val_cat[0]), activation='softmax'))

model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy', precision, recall, f1])

3. 调整训练超参数 #

• 降低Adam优化器的学习率，默认学习率0.001对于部分场景过高，可调整为1e-4或者5e-5，避免权重更新幅度过大导致logits数值爆炸
• 如果是基于预训练模型的微调任务，可先冻结前面的全连接层，只训练最后的分类层，待损失稳定后再解冻全层微调，避免预训练权重被大幅改动

4. 推理阶段可选平滑方案 #

如果训练完成后仍需要平滑softmax输出，可在推理时给最后一层输出的logits添加温度缩放，再做softmax计算：

# T为温度系数，取值大于1，可根据效果调整，常用值2、5、10
logits = model.layers[-1].output / T
softmax_smooth_output = tf.nn.softmax(logits)

内容的提问来源于stack exchange，提问作者Nick1899