自动编码器异常/新奇检测中的特征归一化方法问询

在仅用正常数据训练自动编码器做异常检测的场景下，必须基于训练集（纯正常数据）拟合缩放器，再用同一个缩放器转换所有测试数据（包括正常和异常样本），绝对不能分开缩放训练和测试集，原因如下：

• 自动编码器的核心逻辑是学习正常数据的特征分布，通过重构误差区分正常/异常。如果分开缩放，训练数据和测试数据的变换规则不一致，模型学到的正常数据分布和测试时的异常数据分布不在同一尺度，重构误差的对比完全失去参考价值。比如正常数据缩放到[0,1]是基于自身的均值、极值，异常数据单独缩放后也到[0,1]，但两者原始分布的差异被强行抹平，模型根本没法有效识别异常。

• 你觉得“用训练集拟合缩放器转换异常数据不合适”是误解了任务逻辑：异常检测中，测试集里的异常数据属于模型从未见过的未知数据，我们不能提前用它的信息调整缩放器——这属于严重的数据泄露。就像常规机器学习任务里不能用测试集拟合缩放器一样，这里也只能用训练阶段的正常数据确定缩放规则，这样才能模拟真实场景：模型只见过正常数据，面对陌生的异常数据时，用统一规则转换后的重构误差才会显著升高，达到检测目的。

• 所谓“分开缩放得到合理结果”只是巧合，比如异常数据和正常数据的原始分布差异极大，即使分开缩放也能被模型识别，但这种情况不稳定。一旦异常数据和正常数据的分布接近，分开缩放会直接导致模型失效。

内容的提问来源于stack exchange，提问作者Rajaram