Azure数据漂移检测：漂移幅度百分比及特征算法问询

一、漂移幅度转百分比的具体算法 #

Azure针对不同特征类型的原始漂移指标，通过值域归一化或区间映射将其转换为0-100%的百分比，核心逻辑是让结果匹配业务对"漂移严重程度"的直观认知：

• 数值特征（Wasserstein距离）：因Wasserstein距离取值范围为0到无穷大，平台会基于特征在训练数据中的取值范围（最大值-最小值）做归一化，公式可简化为：

  漂移百分比 = (原始Wasserstein距离 / (特征最大值 - 特征最小值)) * 100%
  

  若特征为常量（值域为0），则直接标记为0%漂移。
• 分类特征（卡方距离、Jensen-Shannon散度等）：这类指标本身取值在[0,1]区间，直接乘以100即可得到百分比。

二、Top漂移特征的百分比含义 #

Top漂移特征展示的百分比，是单个特征经过上述转换后的独立漂移幅度。平台会将所有特征的漂移百分比从高到低排序，选取排名靠前的特征展示，数值越高代表该特征的分布变化越显著。

三、Matthews相关系数（MCC）用于漂移检测的原理 #

MCC原本是衡量二分类模型预测结果与真实值相关性的指标，取值范围为[-1,1]：

• MCC=±1：代表两个变量完全相关
• MCC=0：代表两个变量完全无关

在数据漂移检测中，Azure用MCC衡量训练集与目标集特征分布的相似性：

1. 将两个分布的频次对比转换为二分类视角（比如判断样本属于训练集还是目标集的概率与特征取值的关联）
2. 计算两个分布的MCC值后，通过(1 - |MCC|) * 100%转换为漂移百分比：
   • 当MCC接近±1时，两个分布高度相似，漂移百分比趋近于0%
   • 当MCC接近0时，两个分布几乎无相关性，漂移百分比趋近于100%

内容的提问来源于stack exchange，提问作者Imperial_J