为什么我的卷积网络（Convnet）本质上仅学习所有y值的均值？

• 损失函数适配错误：回归任务误用分类损失、分类任务标签格式与损失要求不匹配时，梯度回传逻辑失效，模型无法学习输入到输出的映射关系，此时输出全局标签均值是损失最低的“惰性解”。
• 超参数配置异常：学习率过高导致参数振荡无法收敛、学习率过低导致参数更新幅度过小几乎停留在初始状态、L2正则化或Dropout比例过高压制模型拟合能力，都会触发模型退化为输出均值。
• 数据链路问题：训练和推理阶段的输入/标签预处理逻辑不一致，比如标签归一化后预测时没有做逆变换、输入数据标准化参数错误，都会让所有预测值看起来都接近全局均值。
• 模型与数据集不匹配：网络结构过浅、参数量远小于拟合需求，不足以学习输入和标签的关联规律；或是数据集本身输入和标签无相关性、标签分布极度不平衡，模型只能输出均值来最小化整体损失。

内容的提问来源于stack exchange，提问作者Jack Roedel