引入Z-score异常值移除后Transformer模型停止学习的原因排查

• 优先锁定Z-score操作的问题，毕竟这是唯一新增的预处理步骤，重点检查以下几点：

  • 统计量计算范围：是否误将训练集+测试集的全局均值/标准差用来判定异常值？这种数据泄露会让模型失去有效学习的依据，必须严格只基于训练集计算统计量，再用该规则处理测试集。
  • 异常值判定阈值：是不是阈值设置过严，把大量正常数据误判为异常值？对比你提供的移除前、移除后的数据分布截图，如果移除后数据分布过于集中，甚至丢失了核心特征的波动，模型自然无法学到有效模式。
  • 异常值处理方式：是直接删除样本还是做值替换？如果删除了过多包含关键信息的样本（比如稀有但对任务重要的样本），训练数据会缺失核心模式，导致模型学无所依。

• 排查容易遗漏的细节：

  • 数据流完整性：虽然做了单元测试，但要确认Z-score操作后的数据维度、样本数量是否符合预期？比如是否误删了特征列，或者样本数骤降导致batch_size匹配异常？
  • 训练参数适配性：数据分布变化后，原有的学习率、batch_size等参数可能不再适配。比如数据波动变小时，过大的学习率会导致模型震荡无法收敛。

• 快速验证方案：
  临时移除Z-score异常值移除步骤，重新启动训练。如果模型恢复正常，即可确定问题出在该操作上；如果仍无法学习，再排查其他隐藏问题（如数据加载缓存、模型权重初始化异常等）。

内容的提问来源于stack exchange，提问作者Harry Dunn