客户流失模型中FMA'22 AQB特征是否构成Target Leak的技术问询

结论 #

将FMA'22 AQB作为特征不构成目标泄露，具体原因如下：

核心逻辑分析 #

• 时间线合规：建模的客户群体是截至2022年12月的活跃客户，FMA'22（2022年2-4月）的AQB属于历史数据——在建模时点（2022年12月）已经完全可获取，不存在依赖未来（FMA'23）信息的情况。目标泄露的本质是特征包含了预测时无法得到的未来数据，这里完全符合“用历史数据预测未来结果”的建模逻辑。
• 目标变量定义逻辑：目标变量是基于FMA'23与FMA'22的AQB比值判断，但FMA'22 AQB只是计算目标的基准参考值，并非未来数据。预测时，我们只需要已知客户的FMA'22 AQB，再结合其他历史特征，就能预测其FMA'23是否会出现大幅下降，整个过程没有引入任何预测时不可得的信息。

模型性能下降的原因 #

去掉FMA'22 AQB后模型召回率下降12%，是因为该特征与目标变量存在强关联：目标变量的定义直接依赖于该特征作为基准，它本身就是预测客户是否会出现大幅余额下降的核心信息。失去这个特征，模型自然会丢失最关键的判断依据，性能下降是合理的，并非泄露导致的虚假提升。

内容的提问来源于stack exchange，提问作者Hitakshi Shah