使用自编码器encoder压缩数据时分类结果不稳定问题咨询

• 批量归一化（BN）层推理状态/统计量漂移
  如果你用到的自编码器中间嵌入了BN层，若推理阶段没有将模型切换到评估（eval）模式，BN层会基于当前输入batch的实时均值、方差做归一化，而非使用训练阶段拟合的全局统计量。按类别单独压缩时，每个输入batch的分布相对单一，统计量波动不会大幅偏离训练分布；全量混合压缩时，batch的整体分布和单类分布差异极大，BN输出的特征分布会发生严重偏移，导致降维后的特征区分度大幅下降。即使模型设置为不可训练，只要没有切换到评估模式，BN层的计算逻辑依然会随输入batch变化。
• 预处理逻辑不一致
  若两次降维流程的输入预处理规则不统一，也会导致特征分布偏移。比如分类别压缩时，你对每类数据单独使用训练集的全局统计量做归一化，输入encoder的特征分布和训练阶段完全匹配；而全量压缩时误用了全量数据集的均值、方差做归一化，会导致输入encoder的特征分布和训练分布存在偏差，encoder输出的特征失去原有区分度。
• 类别不平衡引发的编码偏差
  如果你的数据集存在类别不平衡问题，全量混合压缩时，占比更高的多数类特征会主导输入的整体分布，encoder会优先拟合多数类的特征表达，少数类的差异化特征在压缩过程中会被当成噪声过滤，最终全量压缩后的特征对少数类的区分度大幅下降。而按类别单独压缩时，每个类的特征不会被其他类的分布干扰，所有类的特征都能被encoder正确编码，保留的分类信息更完整。

内容的提问来源于stack exchange，提问作者Oussama Cheta