基于除以均值归一化的方差阈值特征选择方法合理性及阈值选取咨询

除以特征自身均值做归一化的方法是否合理 #

这个操作是有明确统计依据的，不是无来由的技巧，但有严格的适用边界。

• 本质上这个操作就是用变异系数（相对标准差）的逻辑解决跨量级方差不可比的问题。简单推导下：对任意特征X，记它的均值为μ_X，标准差为σ_X，按normalized_df = df / df.mean()做缩放后，新特征的均值刚好是1，新特征的方差是σ_X²/μ_X²——也就是我们常说的变异系数的平方。变异系数本身就是学界、工业界用来跨不同量级对比变量离散程度的经典指标，从根上解决了“取值越高的特征天生绝对方差越大”的对比偏差问题。
• 这个方法的适用前提不能乱套：
  • 只能用在均值为正、且没有接近0的特征上。如果特征均值接近0（比如用户的收支差额、相对基准的差值），甚至是负值，除以均值的操作会直接让结果失真，完全失去对比意义。
  • 它衡量的不是“和其他特征统一尺度后的绝对波动”，而是“特征相对于自身平均水平的波动幅度”，刚好匹配“公平对比特征离散度、剔除低信息固定值特征”的目标——毕竟一个特征哪怕绝对值波动再大，如果相对自身规模的波动极小（比如所有用户的年消费都是10000±10元，不管绝对金额多大，都是几乎没有区分度的固定值，没有预测信息），本来就应该被剔除。
  • 和其他归一化方法的区别很清晰：Z-score归一化后的特征方差恒为1，根本没法用来筛低方差；Min-Max归一化是把特征缩放到固定取值区间，算出来的方差是相对于自身取值范围的波动，和本方法“以自身均值为参照”的基准不一样，适用场景也不同。

归一化后的特征如何选适配的方差阈值 #

首先要打破“通用固定阈值”的误区，先搞清楚你选的阈值对应的实际统计意义：

• 代码算出的归一化方差 = (σ/μ)²，把这个值开平方就能得到对应的变异系数CV，也就是“该特征的标准差占自身均值的比例”。比如DataCamp提到的0.005阈值，开平方后对应的CV≈0.07，意思是“特征的波动幅度平均只有自身均值的7%，几乎和固定值没有差别”，这个作为初始参考值本身是合理的，但不能不管场景硬套。
• 实际选阈值的时候按两步走就不会出错：
  • 第一步先算出所有特征的归一化方差，开平方得到对应的CV，把所有CV从小到大排序看整体分布：比如如果排序后发现那些明确有业务含义的有效特征，CV普遍在10%以上（对应归一化方差0.01），那0.005（CV≈7%）就是非常合适的起点；如果发现很多有效特征的CV才到5%，那0.005就太高了，会误删有价值的特征。
  • 第二步结合特征类型微调：
    • 对于金额、计数这类纯正向连续计量特征，0.005是经过实践验证的好用初始值：这类特征的自然业务波动通常远高于7%（比如普通用户的消费额标准差往往是均值的50%以上，历史下单次数的波动也远高于这个比例），低于这个阈值的基本都是几乎固定的低信息特征。
    • 对于二值特征（比如“是否为付费用户”），可以提前算个参考锚点：这类特征的归一化方差是(1-p)/p，p是特征取1的比例，当p=99.5%的时候，方差刚好是0.005——也就是只有0.5%的用户取值和绝大多数人不同的二值特征，本身信息含量极低，刚好可以被这个阈值筛掉。
    • 对于均值本身就很小的稀有事件特征（比如“是否购买过高客单价商品”，p=1%），算出来的归一化方差会天然很高，根本不会被这个阈值误删，是符合预期的筛选效果。
• 特别提醒：不要在有负值、均值接近0的特征上用这个方法选阈值，比如温度、考试相对分这类特征，均值可能为0甚至是负的，这时候除以均值的操作本身就不成立，应该换用Z-score归一化后基于离散度做筛选。

内容的提问来源于stack exchange，提问作者Bex T.