TensorFlow2.0下基于Keras自定义ResNet提取中间层输出构建图像特征提取器报错
自定义ResNet提取中间层特征的实现方法
报错的核心原因
你当前的写法完全不匹配自定义子类化模型的结构特性,两个问题直接导致报错:
- 继承
tf.keras.Model手写的模型没有内置绑定的输入张量,res34.input这类属性本身不存在,不能直接用来构造Functional子模型 - 仅调用
build()方法只会初始化层的权重,不会注册层之间的计算图连接节点。你之前选取的res34.layers[-2]对应的就是全局平均池化层,因为这个层从来没有被实际触发调用、没有接收到任何输入张量,所有层的inbound_node属性为空,直接访问层的.output就会抛出Layer global_average_pooling2d has no inbound nodes的错误。
适配现有代码的最优实现(零额外图结构开销,最少代码改动)
你当前的ResNet代码已经能正常训练、加载权重,不需要大改模型结构,只需要给ResNet类的call方法加一个特征返回开关,直接在原前向传播流程里把需要的中间层结果返回即可,完全绕开Keras子模型构造的图连接问题。
以ResNetTypeI(对应ResNet18/34)为例,修改resnet.py里的类定义:
class ResNetTypeI(tf.keras.Model): def __init__(self, layer_params): # 原有__init__里的代码完全保留,不需要修改 super(ResNetTypeI, self).__init__() # ... 省略原有层定义代码... def call(self, inputs, training=None, mask=None, return_features=False): x = self.conv1(inputs) x = self.bn1(x, training=training) x = tf.nn.relu(x) x = self.pool1(x) x = self.layer1(x, training=training) x = self.layer2(x, training=training) x = self.layer3(x, training=training) x = self.layer4(x, training=training) # 定义你需要提取的特征位置,这里以全局平均池化后的向量为例 pooled_feature = self.avgpool(x) # 如果开了特征返回开关,直接返回特征,不接全连接层 if return_features: return pooled_feature # 原有分类逻辑完全不变 output = self.fc(pooled_feature) return output
使用的时候,加载完权重直接调用开关即可拿到特征:
res34 = resnet.resnet_34() res34.build(input_shape=(None, config.image_height, config.image_width, config.channels)) res34.load_weights('./ResNet/saved_model/model') # 直接传入图像,设置return_features=True,拿到的就是图像特征向量 sample_image = tf.random.normal((1, config.image_height, config.image_width, config.channels)) image_feature = res34(sample_image, training=False, return_features=True)
你可以根据需要调整特征提取的位置,比如要拿layer4输出的带空间维度的特征图,只要把return pooled_feature改成return x(就是layer4输出的那个张量)即可。
如果一定要构造独立的特征提取子模型
如果你需要把特征提取器单独导出、或者独立做前向推理,需要手动顺着原模型的前向逻辑搭出计算图,不要依赖子类模型的内置input属性:
# 先定义和原模型输入形状一致的输入层 inputs = tf.keras.Input(shape=(config.image_height, config.image_width, config.channels)) # 复用原模型已经加载好权重的层,顺着前向逻辑拼接计算图 x = res34.conv1(inputs) x = res34.bn1(x, training=False) x = tf.nn.relu(x) x = res34.pool1(x) x = res34.layer1(x, training=False) x = res34.layer2(x, training=False) x = res34.layer3(x, training=False) x = res34.layer4(x, training=False) # 指定要截断的位置,这里同样以全局平均池化输出为界 x = res34.avgpool(x) # 构造独立的特征提取模型 feature_extractor = tf.keras.Model(inputs=inputs, outputs=x)
这种方式构造的子模型可以直接调用summary()查看结构,也可以正常导出为SavedModel格式,因为所有层复用的都是原模型已经加载好的权重,不需要重新训练。
内容的提问来源于stack exchange,提问作者LungChi
相关产品推荐
相关产品推荐

