FitNet回归任务中Softmax输出层性能下降及约束满足方案咨询

一、性能下降的核心原因 #

• Softmax特性与回归需求不匹配：Softmax本质是为分类任务设计的，它会将输出转化为和为1的概率分布，但对输入数值尺度极度敏感——输入的微小波动就可能让输出分布大幅偏移。而你做的是回归任务，目标是拟合连续的比例值，Softmax的强非线性压缩会丢失原始输出层的数值精度，尤其是当目标值之间差异较小时，它会过度放大这种差异，直接拉高拟合误差。
• 损失函数与输出层不兼容：如果用的是回归常用的MSE损失，Softmax输出和你的目标值（本质是连续比例，不是分类概率）完全不匹配。MSE是衡量连续值的平方误差，而Softmax输出是经过非线性变换的概率分布，两者的优化目标错位，导致梯度更新效率极低，模型很难收敛到最优状态。
• FitNet结构的适配问题：FitNet原本是为知识蒸馏设计的轻量化网络，隐含层的特征提取逻辑更偏向分类任务的层次特征。硬套Softmax做回归约束的话，网络提取的特征和Softmax的需求不匹配，特征信息没法有效转化为符合约束的回归输出。

二、满足[0,1]且和为1约束的可靠方案 #

• Sigmoid+后处理归一化：输出层用Sigmoid激活把每个输出先限制在[0,1]区间，之后手动对所有输出做归一化（每个输出除以所有输出的总和）。这种方式既满足约束，又保留了Sigmoid对连续值的拟合能力，而且归一化是无参数操作，不会给模型优化添负担。
• 带约束项的自定义损失函数：输出层保留线性激活，在损失函数里加约束惩罚项：
  1. 基础损失用MSE或MAE拟合目标值；
  2. 加L2惩罚项限制输出范围：对每个输出o_i，添加max(0, o_i-1)^2 + max(0, -o_i)^2，惩罚超出[0,1]的部分；
  3. 加惩罚项确保总和为1：添加(sum(o_i) - 1)^2，让输出总和逐渐逼近1。
     这种方式让模型在拟合目标的同时慢慢满足约束，避开Softmax的非线性变换带来的精度损失。
• 手动实现Softmax并调整损失函数：如果一定要用Softmax逻辑，可以在FitNet最后手动计算o_i = exp(z_i) / sum(exp(z_i))（z_i是最后一层线性输出），同时把损失函数换成交叉熵损失——毕竟你的目标值是和为1的比例，和概率分布的形式一致，交叉熵损失比MSE更适配Softmax输出，能提升拟合效果。
• 数据预处理优化：如果目标值里有极端值（比如接近0或1），先对目标值做对数变换（比如log(y_i + 1e-8)避免取对数出错），让网络先拟合变换后的值，再通过逆变换+归一化得到符合约束的输出，这样能降低Softmax对极端值的敏感度。

内容的提问来源于stack exchange，提问作者shiyu shukla