ResNet152灰度图回归任务无法过拟合单样本的原因排查

首先明确结论：完全不是输入图像信息量不足导致的无法过拟合。哪怕单张静态图像，只要网络结构正常、数值范围可控，哪怕只有一个隐层的全连接网络都能轻松记住固定输入对应的3个输出值，ResNet152连单样本都拟合不动，全是代码实现和训练配置的硬伤导致的。

一、优先排查代码层面的硬伤 #

• 残差连接的lambda实现完全不符合Keras的调用协议
  原代码中当通道数匹配、不需要投影shortcut时，写了self.shortcut = lambda x,_:x作为恒等映射。这是个裸Python函数，不是标准Keras层对象。当Sequential容器调用内部层时，会自动向所有层传递training关键字参数，而lambda只支持两个位置参数，根本识别不了training这个关键字，会直接触发类型错误。哪怕你偶然能跑通代码，也说明所有BN层根本没有进入训练模式，始终用初始化的0均值、1方差做推理计算，滑动统计量完全不更新，网络输出会长期处于尺度偏移状态，根本不可能收敛。
• 超小batch size下BN层的数值崩溃
  如果你为了过拟合单个样本设置了batch size=1，每个BN层在训练模式下计算的单batch方差会无限趋近于0。BN层计算时需要除以sqrt(var + eps)（eps默认是1e-3），相当于把特征值放大30倍以上，整个网络的输出数值会被持续放大——这和你观察到的预测值[2.9,5.5,3.0]远大于真值[0.87,0.99,0.99]的尺度特征完全吻合。
• Flatten操作引入的冗余维度拖慢收敛
  100x70的输入经过conv1、maxpool、layer2、layer3、layer4共5次stride=2的下采样，最终输出的特征图尺寸只有4x3x2048，Flatten之后维度高达24576。相比ResNet原设计的GlobalAveragePooling（输出2048维），这种替换直接引入了12倍的冗余维度，且这些维度对应的特征是随机初始化卷积生成的无意义映射，需要从零开始学习参数关系，收敛速度会慢几个数量级。

二、训练配置的不合理问题 #

• 学习率衰减触发过早，总训练轮次严重不足
  你设置的策略是连续3个epoch验证损失不下降就把学习率衰减10倍，从初始1e-4衰减到1e-8总共只需要12个左右的epoch。对于随机初始化的上百层ResNet152来说，单靠12个epoch根本完成不了参数的初步收敛，何况前面还有代码层面的Bug，损失长期卡壳是必然结果。
• BN层默认参数不匹配小样本场景
  Keras的BN层默认动量是0.99，也就是滑动统计量只会以1%的速率吸收当前batch的统计值。对于小batch、小数据集的训练场景，这个值太高，需要上百个batch才能让滑动统计量和实际数据分布对齐，进一步拖慢收敛速度。

落地排查步骤 #

• 第一步：把所有不符合Keras协议的lambda恒等映射，替换成tf.keras.layers.Identity()标准层，保证模型调用时能正确传递training参数，让BN层正常进入训练模式。
• 第二步：做单样本过拟合测试时，先暂时把所有BN层去掉，验证基础通路是否正常。如果去掉BN之后，单样本几轮训练就能拟合目标值，说明问题100%出在BN的实现和训练模式上。
• 第三步：暂时把Flatten换回ResNet原设计的GlobalAveragePooling，把特征维度从24576降到2048，大幅减少Dense层的参数量，排除维度过高导致的收敛缓慢问题。
• 第四步：单样本过拟合测试时，临时关掉学习率衰减，固定用1e-4的学习率训满100个epoch，观察损失曲线。如果这时候能快速收敛，说明之前的衰减策略太激进，过早把学习率降到了参数几乎无法更新的水平。
• 第五步：如果保留BN层，把BN的动量调到0.9、eps调到1e-4，适配小batch的训练场景，减少数值不稳定的问题。

内容的提问来源于stack exchange，提问作者Kanda Wa