sklearn.impute.KNNImputer缺失值插补使用技术咨询

关于归一化的问题 #

• 使用KNNImputer前必须手动做特征归一化/标准化，这个类不会在后台自动执行任何归一化操作。
• 原因很简单：KNN插补靠距离度量（默认是欧氏距离）找近邻，再用近邻值计算填充结果。要是特征量纲差得大，比如一个特征是0_{1的转化率，另一个是0}200000的贷款金额，数值范围大的特征会完全主导距离计算结果，最后插补出来的值根本不准。
• 你看到有些案例没做归一化，要么是案例所用数据集的特征本来量纲就统一，要么是作者漏了预处理步骤，属于不严谨的写法，别照着学。
• 多提一句：归一化得先拆分训练集、测试集，拿训练集拟合归一化工具，再分别转换训练集和测试集，别拿全量数据归一化再拆集，会造成数据泄露。

关于分类数据处理的问题 #

• 不要先给含缺失的分类特征做独热编码再插补，这是很多人都会踩的坑。
• 为啥不行？独热编码会把一个分类特征拆成好几个0/1列，原来的一个缺失值，拆完之后对应的好几列全是缺失，一来会让这个特征在算距离的时候权重虚高，二来KNNImputer输出的是连续浮点数，根本凑不出合法的独热编码组合，最后转不回原来的分类值。
• 真要配合KNNImputer处理分类特征，按下面的方法来：
  • 如果是有序分类特征（比如满意度1~5档、学历从低到高），先做标签编码把类别转成整数，和数值特征拼到一起统一归一化，再送进KNNImputer插补，插补完成后把数值映射回原类别就行。
  • 如果是无序分类特征（比如城市、职业），优先用适配分类特征的插补方法，比如众数插补、基于分类模型的迭代插补；非得用KNNImputer的话，也是先做标签编码，插补完把输出的浮点数四舍五入到最近的整数标签，再映射回原类别，效果比先独热再插补靠谱得多。

内容的提问来源于stack exchange，提问作者banking_detective