为何AML欺诈检测模型混淆矩阵中FP与FN逐步降至0？

• 数据泄露

  • 若在划分训练/验证/测试集之前就对整个数据集应用SMOTE，会导致合成样本包含验证/测试集的分布信息，模型相当于提前见过验证和测试数据，自然能实现零错误分类。
  • 特征工程环节如果使用了全局（含验证/测试集）的统计量做归一化、标准化，也会造成数据泄露，让模型学到不属于训练阶段的信息。

• 数据集特性

  • 若AML数据集样本量极小，或者欺诈样本与正常样本的特征存在极强的区分度（比如某特征直接映射标签），MLP很容易学习到完美的决策边界，实现零FP/FN。
  • 数据集标签可能存在标注错误或冗余，比如部分样本的特征与标签完全对应，模型直接“记住”这些规则而非学习泛化模式。

• SMOTE过度处理

  • SMOTE生成的合成样本可能过度贴近某一类样本的分布，导致类别之间的边界异常清晰，降低了模型的分类难度。
  • 若SMOTE处理后类别不平衡问题被过度修正（甚至出现反向不平衡），再配合MLP足够的模型容量，模型会轻松拟合到零错误。

• 训练过程问题

  • 训练轮数过多导致模型在训练集上严重过拟合，而如果验证/测试集与训练集分布高度重合（比如数据泄露），过拟合的模型也能在验证/测试集实现零错误。
  • 若仅使用准确率作为评估指标，且损失函数设计倾向于硬分类，模型会优先追求全对的结果，在数据允许的情况下就会出现FP/FN为0的情况。

内容的提问来源于stack exchange，提问作者RayX161