欺诈检测项目：去除高缺失值列后训练测试集维度不一致的处理咨询

嘿，作为刚入门欺诈检测时踩过类似坑的过来人，我来给你拆解这个问题～

首先得先搞清楚为什么会出现测试集多15列的情况：大概率是你分别对训练集和测试集单独计算了缺失值占比，然后各自删除了缺失率>73%的列。但训练集和测试集的缺失分布本来就可能不一样，这就导致了两者保留的特征列出现差异——这是预处理阶段的典型错误，核心问题是你没有用训练集的规则统一处理测试集。

针对你的两个选项，我给你明确的判断：

1. 直接删除测试集的这些列？可行，但要先确认原因 #

如果这些列在训练集里是因为缺失率>73%被删掉的，那测试集里留着它们完全没用——因为你的模型在训练时根本没见过这些特征，推理时无法处理这些额外的列。这种情况下直接删除测试集的这些列是合理的，但要先核对：这些列在训练集里的缺失率确实超过了73%，不是因为其他原因被排除的。

2. 复制到训练集后插补？绝对不建议，会严重损害泛化能力 #

这么做属于数据泄露的典型场景：你用测试集里的特征信息（这些列的存在）反过来修改训练集，相当于让模型在训练时间接“看到”了测试数据的分布。这会导致模型在测试集上的表现看起来很好，但实际部署到真实场景时性能暴跌——因为它已经记住了测试数据的特征，而不是学习到了通用的欺诈检测模式。

正确的预处理流程（新手必记） #

为了避免这种列不一致的问题，同时保证模型泛化能力，你应该遵循“训练集驱动所有预处理规则”的原则：

• 第一步：仅在训练集上计算每列的缺失值占比，筛选出缺失率≤73%的特征，得到一个统一的特征列表。
• 第二步：用这个特征列表同时过滤训练集和测试集，确保两者的列完全一致。
• 第三步：对训练集进行缺失值插补（比如用均值、中位数，或者针对欺诈场景用更适合的模型插补），然后用训练集计算出的插补值（比如训练集某列的均值）去填充测试集对应列的缺失值，绝对不能在测试集上单独计算插补统计量。

这样处理后，训练集和测试集的特征完全对齐，也不会出现数据泄露的问题，模型的泛化能力才有保障。

内容的提问来源于stack exchange，提问作者Sagitarius