双输入（图像+元数据）Keras模型应用Grad-CAM报错问题咨询

双输入模型完全可以使用Grad-CAM方法，你的报错来自两个核心问题：

1. 你使用的Keras官方Grad-CAM示例函数仅适配单输入模型，调用时只传入了图像输入，缺失了元数据输入，导致计算梯度时模型计算图不完整，触发图断开报错
2. 你最初选择的multiply_2层输出为2维张量，没有空间维度，不符合Grad-CAM要求的4维卷积输出特征层的要求，无法生成热力图

你需要对官方的make_gradcam_heatmap函数做双输入适配，同时选择正确的目标层：

1. 目标层选择resnet50（输出为(None,7,7,2048)的4维张量，符合Grad-CAM的空间维度要求）
2. 重写适配双输入的Grad-CAM函数，同时传入图像和元数据两个输入

适配后的代码实现 #

import tensorflow as tf
import numpy as np

def make_gradcam_heatmap_dual_input(img_array, meta_array, model, last_conv_layer_name, pred_index=None):
    # 定义梯度计算模型，包含原模型的两个输入，输出为目标卷积层输出+模型最终预测结果
    grad_model = tf.keras.models.Model(
        inputs = [model.inputs[0], model.inputs[1]],
        outputs = [model.get_layer(last_conv_layer_name).output, model.output]
    )

    with tf.GradientTape() as tape:
        last_conv_layer_output, preds = grad_model([img_array, meta_array])
        if pred_index is None:
            pred_index = tf.argmax(preds[0])
        class_channel = preds[:, pred_index]

    # 计算目标类别对目标卷积层输出的梯度
    grads = tape.gradient(class_channel, last_conv_layer_output)
    # 对每个通道的梯度做全局平均得到通道权重
    pooled_grads = tf.reduce_mean(grads, axis=(0, 1, 2))

    # 对目标卷积层的每个通道按权重加权求和得到热力图
    last_conv_layer_output = last_conv_layer_output[0]
    heatmap = last_conv_layer_output @ pooled_grads[..., tf.newaxis]
    heatmap = tf.squeeze(heatmap)

    # 热力图归一化到0-1区间
    heatmap = tf.maximum(heatmap, 0) / tf.math.reduce_max(heatmap)
    return heatmap.numpy()

调用示例 #

preds = flat_model.predict([image, metadata]) 
i = np.argmax(preds[0])

# 调用适配后的函数，同时传入两个输入，指定目标层为resnet50
heatmap = make_gradcam_heatmap_dual_input(image, metadata, flat_model, "resnet50", pred_index=i)

• 传入的image和metadata必须保留batch维度，比如image形状为(1, 224, 224, 3)，metadata形状为(1, 28)，和模型训练时的输入格式一致
• 如果需要更精细的热力图，可以将目标层替换为resnet50内部最后一层卷积层，通常名称为conv5_block3_out，梯度计算会更准确

内容的提问来源于stack exchange，提问作者Zirt