基于不同输入尺寸自定义模型的迁移学习实现方法

核心思路 #

你的模型卷积层的权重是空间无关的（卷积核不依赖输入图像的绝对尺寸），因此可以复用原模型卷积部分的预训练权重，仅修改输入层尺寸并替换适配二分类的输出头，再通过「冻结卷积基训练分类头→微调高层卷积层」的标准迁移学习流程适配新数据集。

步骤1：重构模型，适配新输入尺寸与输出层 #

以TensorFlow/Keras为例，具体操作如下：

1.1 加载原模型并提取卷积基

首先加载你已训练好的模型，分离出卷积特征提取部分（block1_conv1到block5_pool）：

from tensorflow.keras.models import load_model, Model
from tensorflow.keras.layers import Input, Dense, Flatten

# 加载原模型
original_model = load_model("你的原模型路径.h5")

# 提取卷积特征提取基（输出到block5_pool）
conv_base = Model(
    inputs=original_model.input,
    outputs=original_model.get_layer("block5_pool").output
)

1.2 构建新模型：适配384x288输入+二分类输出

重新定义输入层，接入原卷积基，替换原分类头为二分类softmax输出：

# 定义新输入尺寸：(高, 宽, 通道数)
new_input = Input(shape=(384, 288, 3))

# 将新输入接入卷积基（卷积层权重自动复用）
x = conv_base(new_input)

# 替换分类头：保留原dense(16)层（可选复用权重），最后接二分类softmax
x = Flatten()(x)
# 复用原dense(16)的权重（如果新任务与原任务相关，推荐保留）
x = Dense(16, activation="relu", name="dense")(x)
x.set_weights(original_model.get_layer("dense").get_weights())

# 二分类输出层：2个神经元+softmax激活
new_output = Dense(2, activation="softmax", name="new_output")(x)

# 构建最终模型
new_model = Model(inputs=new_input, outputs=new_output)

步骤2：迁移学习训练策略 #

采用「先冻结卷积基训练分类头，再微调高层卷积层」的两步法，避免破坏已学到的通用特征：

2.1 冻结卷积基，训练新分类头

先固定卷积层权重，仅训练新替换的分类头，让模型快速适配新数据集的分类逻辑：

# 冻结卷积基
conv_base.trainable = False

# 编译模型：根据标签格式选择损失函数
# 若标签是整数（0/1）用sparse_categorical_crossentropy；one-hot编码用categorical_crossentropy
new_model.compile(
    optimizer="adam",
    loss="sparse_categorical_crossentropy",
    metrics=["accuracy"]
)

# 训练分类头
new_model.fit(
    train_dataset,  # 你的384x288训练数据集
    epochs=10,
    validation_data=val_dataset
)

2.2 微调高层卷积层，提升性能

分类头训练稳定后，解冻卷积基的高层（如block4、block5），用极小学习率联合训练，让高层特征适配新数据集：

# 解冻卷积基
conv_base.trainable = True

# 冻结前3个block的层（仅训练block4和block5）
# 原模型中block1到block3_pool共15层左右，可根据实际层索引调整
for layer in conv_base.layers[:15]:
    layer.trainable = False

# 重新编译：用极小学习率避免权重震荡
new_model.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=1e-5),
    loss="sparse_categorical_crossentropy",
    metrics=["accuracy"]
)

# 继续训练（从之前的epoch数开始）
new_model.fit(
    train_dataset,
    epochs=30,
    initial_epoch=10,
    validation_data=val_dataset
)

关键注意事项 #

• 数据预处理一致性：新数据集的预处理逻辑（如像素归一化、均值减法）必须与原模型训练时完全一致，否则会严重影响性能。
• 图像尺寸适配：原模型输入比例为128:160（4:5），新输入为384:288（4:3），建议通过中心裁剪或等比例填充调整图像，避免拉伸变形。
• 权重复用选择：如果新任务与原任务差异较大，可放弃原dense(16)层的权重，直接初始化新层。

内容的提问来源于stack exchange，提问作者xnok