基于10年卫星影像的CNN回归模型为何同时低MAE与低R²？如何优化

所有异常现象的根源是模型未有效建立输入影像与输出标签的关联，输出最终退化为接近训练集均值的固定值。MAE、MSE数值偏低只是因为模型输出贴近标签分布中心，而非具备了样本区分能力。
具体原因如下：

• 学习率设置严重脱离合理区间：当前使用的1e-7学习率对于亿级参数量的模型来说低到几乎无法驱动权重更新，搭配仅10轮的训练周期，模型权重几乎停留在随机初始化状态，完全没有完成有效学习。
• 参数量与样本规模严重失衡：两个模型的可训练参数量分别达到6.3亿、1.1亿级别，但总训练样本仅100个。其中首个模型的全连接层仅一层就贡献了99.9%以上的参数量，这类无归纳偏置的层在极小样本下根本无法拟合，最终只能输出趋同的固定值。
• 三维卷积的特征提取设计存在缺陷：
  • 首个模型的卷积层始终保留全时间维度的特征尺寸，没有对10年的时序信号做有效聚合，最后直接将百万级维度的特征Flatten后送入全连接层，导致参数量爆炸。
  • 第二个模型的池化层直接将时间维度的特征从4压缩到1，相当于把10年的时序变化信号完全抹平，丢失了任务最核心的时序关联特征。
• 基础网络组件缺失：未在卷积层后添加归一化层，深层网络的激活分布漂移会进一步阻碍梯度传播；输出层未添加匹配任务的激活函数，也会导致模型难以将输出约束到0-1的面积占比区间。

指标异常的本质逻辑：

• MAE、MSE仅衡量预测值和真实值的绝对误差大小，当模型所有输出都固定为训练集均值时，只要真实值的整体分布没有极端离群点，这两个指标的数值就不会很高。
• R²、explained variance衡量的是模型对标签波动的解释能力，计算逻辑为「1 - 模型误差/标签自身的波动幅度」。当模型输出趋同、完全无法匹配不同样本的标签差异时，模型误差就会接近甚至超过标签自身的总波动幅度，最终得到负的极低得分。

• 调整训练超参数到合理范围
  • 将Adam优化器的初始学习率提升到1e-3量级，SGD优化器的初始学习率提升到1e-2量级，搭配ReduceLROnPlateau学习率衰减策略，当验证集损失连续2轮不下降时，将学习率降低为原来的1/10。
  • 将训练轮次提升到50轮以上，搭配早停机制，当验证集MSE连续3轮不下降时自动停止训练，避免无效训练。
• 重构模型结构，压缩参数量匹配小样本规模
  • 用GlobalAveragePooling3D层完全替代Flatten层，将卷积输出的三维特征压缩为通道维度的向量，可将全连接层的输入维度从百万级降到几十到几百级，直接压缩99%以上的冗余参数量。
  • 调整Conv3D的核尺寸为(3,3,3)，步长设为1，padding设为same，在逐步下采样空间维度的同时，完整保留时间维度的特征提取能力，避免一次性压缩时间维度的尺寸。
  • 全局平均池化后仅保留1-2层小尺寸Dense层（如64、32个神经元），最后输出层添加Sigmoid激活函数，将输出严格约束在0-1区间，匹配面积占比的任务要求。
• 补充基础网络组件提升训练稳定性
  • 在每个Conv3D层后添加BatchNormalization层，稳定激活分布，缓解梯度消失问题，让梯度能够顺利传递到浅层卷积层。
  • 在全连接层之间添加Dropout层，丢弃比例设为0.3-0.5，降低小样本下的过拟合风险。
• 规范数据预处理流程
  • 将输入卫星影像的像素值归一化到0-1区间（如除以像素最大值），避免输入特征和输出标签的量级差过大阻碍梯度传播。
  • 提前核查标签的分布情况：如果标签本身的方差极低，说明对应区域的面积占比本身差异很小，需要调整任务粒度或核查标注误差；如果标签存在明显标注错误，先修正标签再开展训练。

内容的提问来源于stack exchange，提问作者Omkar Chavan