KNN缺失值插补时近邻对应列值为NaN的处理方法及sklearn实现逻辑

问题场景的标准处理方案 #

你遇到的近邻待插补列存在缺失的场景，工业界和主流工具的通用处理逻辑如下：

• 第一步：先对k个最近邻做有效值过滤：计算待插补列的加权平均前，先排除所有该列值为NaN的近邻，仅保留该列有有效数值的近邻参与计算
• 第二步：对保留的有效近邻做权重归一化，加权平均的分母不再是k，而是所有有效近邻的权重和，避免权重计算错误

以你提到的第0行A列插补为例：k=2的两个近邻为第1行（A列值为NaN）、第2行（A列值为5.0）

• 第一步先排除A列为空的第1行，仅保留第2行作为有效近邻
• 最终插补值直接取第2行A列的有效值5.0

如果存在多个有效近邻，比如k=3时筛选出2个有效近邻，距离分别为D3、D4，对应A列值为v3、v4，加权平均的计算公式为：

distance average = [(1/D3)*v3 + (1/D4)*v4] / (1/D3 + 1/D4)

sklearn KNNImputer 的处理逻辑 #

sklearn的KNNImputer完全遵循上述逻辑，具体规则如下：

1. 距离计算采用带缺失值修正的欧氏距离：两个样本的距离仅计算两者均有有效值的特征维度，计算完成后乘以总特征数/共同有效特征数做缩放，避免因缺失值导致距离计算偏差
2. 插补计算规则：
   • 首先从筛选出的k个近邻中，过滤掉待插补列为NaN的样本
   • 如果过滤后有效近邻数量≥1，用这些样本的加权平均值（权重为距离的倒数）插补，权重会自动做归一化处理
   • 如果过滤后无有效近邻（所有k个近邻的待插补列均为NaN），则回退到用训练集全量数据对应列的均值做插补

用你提供的数据集测试，设置n_neighbors=2时，KNNImputer输出的第0行A列插补结果就是5.0，和推导结论完全一致。

内容的提问来源于stack exchange，提问作者CS Vyas