迁移学习中冻结权重张量旧值、训练新值的实现问题

你的核心问题是没有正确替换模型中的原始权重参数，同时对张量切片的梯度控制逻辑有误，导致旧权重依然被优化。

原代码的问题分析 #

1. 切片操作old_values = weight_mat[0, :, :length[0]]得到的是原始张量的视图，修改视图的requires_grad不会改变原始张量的梯度属性；即使调用detach()得到无梯度新张量，你也只是完成了拼接，并未将拼接后的新张量替换回模型的参数中。
2. 模型始终在优化最初的weight_mat参数，而非你拼接后的新张量，所以所有权重都会被更新。

正确实现步骤 #

要实现“冻结旧权重、训练新扩展权重”，需要将分离后的旧权重与可训练的新权重拼接，替换模型的原始参数：

# 假设weight_mat是模型中的原始参数（比如model.fc.weight）
# 1. 提取旧权重并分离梯度（确保不参与反向传播）
old_weights = weight_mat[:, :, :length[0]].detach()
# 2. 初始化新权重，设置requires_grad=True（可训练）
# 也可根据需求改用xavier等初始化方式
new_weights = torch.randn_like(weight_mat[:, :, length[0]:], requires_grad=True)
# 3. 拼接旧权重和新权重
new_weight_mat = torch.cat([old_weights, new_weights], dim=-1)
# 4. 替换模型中的原始参数
model.fc.weight = torch.nn.Parameter(new_weight_mat)

验证方法 #

执行后可以通过以下代码确认效果：

# 统计可训练参数数量（应该等于新权重的元素数）
trainable_num = sum(p.numel() for p in model.parameters() if p.requires_grad)
print(f"可训练参数数: {trainable_num}")

# 训练一轮后检查梯度
# 旧权重部分梯度应为None（未被优化）
print("旧权重梯度:", model.fc.weight[:, :, :length[0]].grad)
# 新权重部分应有梯度值（被优化）
print("新权重梯度:", model.fc.weight[:, :, length[0]:].grad)

内容的提问来源于stack exchange，提问作者Emily