scikit-learn中RandomForestClassifier为何对全NaN输入仍能预测？

问题背景 #

我用sklearn训练了随机森林分类器，代码如下：

from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(random_state=42)
rf.fit(X = df.drop("AP", axis =1), y = df["AP"].astype(int))

之后用含NaN的数据集预测时，模型居然输出了结果；甚至构造了全NaN的输入行：

# 构造全NaN的输入行
row = pd.DataFrame([np.nan] * len(rf.feature_names_in_), index=rf.feature_names_in_).T
rf.predict(row)

得到结果array([1])。明明知道sklearn的RandomForestClassifier原生不支持缺失值，本以为会抛出ValueError，所以担心分类器有问题，想搞清楚原因。

原因解析 #

• 为什么没抛出错误？
  scikit-learn的树模型（包括随机森林）在预测阶段不会主动校验输入中的NaN值。训练时如果输入数据没有缺失值，模型不会学习任何缺失值处理逻辑，但预测时遇到NaN，它会基于Python的比较逻辑处理：NaN和任何值做比较都会返回False，所以每个决策节点都会走"不满足条件"的分支，最终走到某个叶子节点输出类别。这就是全NaN输入也能得到结果的原因——它只是顺着所有节点的默认分支走到了某个叶子。

• 这个结果有意义吗？
  完全没有。这个结果不是基于数据规律的预测，只是模型处理NaN时的逻辑副作用。如果修改随机森林的random_state重新训练，全NaN输入的预测结果很可能会变化，因为树的结构会改变，默认分支对应的叶子类别也不同。

• 正确的处理方式
  训练和预测前必须先处理缺失值：

  • 数值型特征：用均值、中位数、众数填充，或者用KNN、MICE等插值方法
  • 类别型特征：用众数填充，或者新增一个"缺失"专属类别
  • 也可以改用原生支持缺失值处理的模型，比如XGBoost、LightGBM，它们在决策树节点中专门设计了缺失值的分支选择逻辑

内容的提问来源于stack exchange，提问作者lsr729