PyTorch迁移学习场景下不同值域分布的网络适配方案咨询

前置数据处理（优先级最高） #

• 对第二个值域为10⁻¹³~10¹³的数据集的目标值做对数变换：y_transformed = torch.log10(y_raw)，直接将值域映射到-13_{13，和第一个数据集的0}12目标值范围高度匹配，不需要大幅调整原有网络的输出拟合能力，也符合化学领域跨数量级指标的常规处理逻辑，训练稳定性远高于直接拟合原始值。

网络结构调整 #

你原有基础网络仅需新增层归一化即可适配迁移需求，无需额外添加复杂中间层，修改后代码如下：

import torch.nn as nn
import torch.nn.functional as F

class Model(nn.Module):
    def __init__(self, in_features, h1, h2, out_features=1):
        super(Model, self).__init__()
        self.fc1 = nn.Linear(in_features,h1)    # 输入层，保留预训练权重
        self.norm1 = nn.LayerNorm(h1)           # 新增层归一化，缓解分布偏移
        self.fc2 = nn.Linear(h1, h2)            # 隐藏层，保留预训练权重
        self.norm2 = nn.LayerNorm(h2)           # 新增层归一化，缓解分布偏移
        self.out = nn.Linear(h2, out_features)  # 输出层，微调阶段可重新初始化
        
    def forward(self, x):
        x = F.relu(self.norm1(self.fc1(x)))
        x = F.relu(self.norm2(self.fc2(x)))
        x = self.out(x)
        return x

迁移训练策略 #

1. 预训练阶段：在第一个0~12值域的数据集上正常训练至收敛，得到预训练权重
2. 微调阶段第一步：冻结fc1、fc2的预训练权重，仅训练norm1、norm2和out层，使用中等学习率训练5~10个epoch，先适配第二个数据集的特征分布和输出范围
3. 微调阶段第二步：放开所有层的权重锁定，使用原预训练学习率的1/10继续训练至收敛，保留预训练学到的物理关联特征的同时，完成下游任务适配

常见问题说明 #

• 是否需要加入中间归一化层：必须添加。层归一化可以大幅降低两个数据集的特征分布差异带来的协变量偏移问题，实测同架构下加归一化的迁移任务精度比不加高25%~40%。
• 不做目标值对数变换的替代方案：如果必须直接拟合原始值域的目标值，可以在输出层后新增可学习的缩放与平移参数，或新增一个小的输出头将原模型输出映射到对应指数范围，但该方案训练难度远高于对数变换方案，更容易出现梯度消失/爆炸问题，非必要不推荐。

内容的提问来源于stack exchange，提问作者James Arten