如何修改ResNet50以适配64x64图像并保留特征尺寸？

针对64x64尺寸图像适配ResNet50的需求，无需上采样，可通过以下几处结构调整实现特征保留与输入兼容：

1. 修改初始卷积与池化层 #

ResNet50默认初始层为7x7卷积（步长2）+3x3最大池化（步长2），对64x64输入会快速压缩特征图导致信息损失。需调整如下：

• 将初始7x7卷积的步长从2改为1，同时设置padding='same'，让64x64输入卷积后仍保持64x64尺寸；
• 若担心大卷积核的信息丢失，可直接将初始7x7卷积替换为3x3卷积（步长1），并移除后续的最大池化层。

结合你的代码逻辑，修改示例：

from tensorflow.keras.applications import ResNet50
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Dense, GlobalAveragePooling2D

# 加载不带顶层的ResNet50，指定输入尺寸为64x64
base_model = ResNet50(weights='imagenet', include_top=False, input_shape=(64, 64, 3))

# 修改初始卷积层的步长和填充方式
initial_conv = base_model.layers[1]
initial_conv.strides = (1, 1)
initial_conv.padding = 'same'

# 移除初始池化层（可选，根据需求决定）
base_model._layers.pop(2)
base_model = Model(inputs=base_model.input, outputs=base_model.layers[-1].output)

2. 调整残差块的下采样节奏 #

ResNet50的残差块会在3个阶段做下采样（步长2的卷积）。若初始层未做下采样，可保留后续残差块的下采样逻辑，让特征图逐步压缩到合适尺寸：
64x64输入 → 初始卷积（步长1）→ 64x64特征图 → 第一阶段残差块（步长1）→ 64x64 → 第二阶段残差块（步长2）→32x32 → 第三阶段残差块（步长2）→16x16 → 第四阶段残差块（步长2）→8x8，最终特征图尺寸足够支撑全局池化。

3. 适配全局池化与全连接层 #

修改后的特征图经过全局平均池化后，会自动压缩为固定维度的向量，无需调整全连接层的输入维度，直接替换顶层即可：

# 添加自定义分类顶层
x = base_model.output
x = GlobalAveragePooling2D()(x)
# 替换为你的数据集分类数
predictions = Dense(your_num_classes, activation='softmax')(x)

# 构建完整模型
model = Model(inputs=base_model.input, outputs=predictions)

4. 分层微调策略 #

由于输入尺寸改变，初始预训练权重的适配性下降，建议采用分层训练：

• 先冻结除初始层和顶层外的所有层，仅训练修改后的初始卷积层和全连接层；
• 训练几轮后，逐步解冻后面的残差块，用更小的学习率微调，兼顾预训练特征与新数据适配。

示例代码：

# 冻结大部分预训练层
for layer in base_model.layers[3:]:
    layer.trainable = False

# 编译并训练顶层
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(train_dataset, epochs=5)

# 解冻部分残差块微调
for layer in base_model.layers[-10:]:
    layer.trainable = True
model.compile(optimizer=tf.keras.optimizers.Adam(1e-5), loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(train_dataset, epochs=15)

内容的提问来源于stack exchange，提问作者Cristian Cutite