压缩任务中三层Transformer训练优异但推理效果极差，如何排查？

我在模型架构中加入了三层Transformer，任务为压缩任务。训练阶段训练集与验证集的损失表现良好，但推理阶段效果极差，准确率出现大幅下降。我不确定这是否与过拟合有关，但从提供的损失曲线来看似乎并无过拟合迹象。请问为何Transformer会出现训练表现优异但推理效果极差的情况？

模型代码 #

class Transformer(nn.Module):
    """ transformer"""
    def __init__(self, in_dim):
        super(Transformer, self).__init__()
        self.pooling = ME.MinkowskiAvgPooling(kernel_size=3,stride=3,dimension=3)
        self.linear = ME.MinkowskiLinear(in_dim,in_dim)
        self.relu = ME.MinkowskiReLU(inplace=True)
        self.convmlp = ME.MinkowskiConvolution(in_dim,in_dim,kernel_size=1,stride=1,bias=True,dimension=3)
        
    def forward(self, x):
        x = x + self.relu(self.linear(self.pooling(x)))
        x = x + self.relu(self.convmlp(x))
        return x

损失曲线 #

• 模块并非标准Transformer：你代码里的Transformer类没有实现Transformer核心的多头注意力和位置编码，本质是带残差连接的池化+MLP结构。这种结构训练时能拟合数据，但缺乏对空间/序列依赖的建模能力，推理时面对陌生样本表现拉胯。建议替换为Minkowski库自带的标准稀疏Transformer模块。
• 推理模式未切换：PyTorch模型默认处于训练模式，推理时必须调用model.eval()关闭Dropout、BatchNorm等层的训练专属行为，否则会导致激活值分布和训练时不一致，直接影响准确率。
• 数据预处理不一致：检查推理时的输入是否和训练阶段做了完全相同的预处理（比如归一化、尺寸调整、数据格式转换），压缩任务中哪怕微小的预处理差异都会导致结果偏差。
• 数据集分布偏移：验证集和推理用的测试集可能分布差异过大，比如训练/验证是受控场景数据，测试是真实复杂场景数据。建议补充测试集的损失曲线，确认是否是分布问题。
• 损失与评价指标不匹配：压缩任务训练时用的损失（比如MSE）可能和推理时的准确率指标相关性低，比如像素级损失小但语义/视觉准确率差。可以考虑加入和准确率相关的辅助损失。
• 数值稳定性问题：残差连接可能累积数值误差，或者Minkowski稀疏张量操作在推理时出现异常值。可以在推理时打印特征的均值、方差，排查是否有NaN/Inf值。

内容的提问来源于stack exchange，提问作者mrghafari