使用GradCAM无法可视化ResNet50层特征 仅显全蓝色掩码且模型准确率低

问题背景 #

开展预训练模型层可视化工作时，GradCAM可正常适配InceptionV3等模型，但针对ResNet50时仅能生成全蓝色掩码，且模型准确率偏低，可视化效果如下：

相关模型构建代码如下：

preprocess_input = tf.keras.applications.resnet50.preprocess_input 
inputs = tf.keras.Input(shape=(224, 224, 3))

x = preprocess_input(inputs)

base_model = tf.keras.applications.resnet50.ResNet50(include_top=False, input_tensor=x, weights="imagenet",input_shape=(224, 224, 3))

for layer in base_model.layers:
    layer.trainable = False
    
flat1 = GlobalAveragePooling2D()(base_model.layers[-1].output)
flat2 = Dropout(0.2)(flat1)
class1 = Dense(1024, activation='relu')(flat2)
output = Dense(30, activation='softmax')(class1)
model = Model(inputs=base_model.inputs, outputs=output)

根因与解决方法 #

两个问题属于同源异常，可按以下顺序排查修复：

• 重复预处理导致输入数值异常
  代码中已经将ResNet50的预处理逻辑嵌入了模型输入层，如果喂入数据前又额外调用了一次preprocess_input处理图像，会导致输入数值被两次标准化，完全偏离模型预期的数值范围，既会拉低推理准确率，也会导致梯度计算完全错误，最终生成的GradCAM热力图数值全为负，显示为全蓝色。
  修复方案：要么把预处理逻辑从模型定义中移除，仅在数据加载阶段做一次预处理；要么喂入模型的图像直接使用0-255范围的原始RGB数据，不要额外做预处理。

• 全冻结骨干网络导致拟合不足+梯度中断
  代码将整个ResNet50骨干层全部设为不可训练，如果你的30分类任务和ImageNet类目差异较大，冻结的骨干网络提取的特征适配性极差，自然准确率偏低。同时GradCAM依赖从输出层回传梯度到目标可视化层，全冻结状态下骨干层的梯度计算会被跳过，也会导致热力图数值异常。
  修复方案：

  1. 解冻ResNet50后10-20层，使用1e-5量级的小学习率微调模型，先提升分类准确率
  2. 做GradCAM可视化时，不要冻结你选择的目标可视化层（通常选ResNet50最后一个卷积层conv5_block3_out）

• GradCAM实现适配错误
  如果选择的可视化层不是最后一个卷积层、没有过滤负梯度、或者没有做热力图归一化，也会出现全蓝问题。
  修复方案：

  1. 显式指定可视化层为base_model.get_layer('conv5_block3_out').output，不要用base_model.layers[-1].output避免选到池化/激活层
  2. 生成热力图后做min-max归一化到0-1范围，再叠加到原图上显示

内容的提问来源于stack exchange，提问作者Hanyi Koh