基于Random Forest的ClassifierChain为何不支持np.nan？基础模型兼容

问题背景 #

处理多标签分类任务，采用ClassifierChain方法，以RandomForestClassifier作为基础估计器。输入矩阵X包含np.nan值：

• 单独使用RandomForestClassifier时，可通过内部树分裂机制原生支持缺失值，能正常处理np.nan；
• 使用不建模标签间依赖的MultiOutputClassifier时，也可正常训练；
• 切换为ClassifierChain方法时，超参数调优阶段报错：输入X包含NaN，ClassifierChain原生不接受NaN格式的缺失值。

需要保留缺失值而非填充或删除，寻求可行兼容方案。环境：Python 3.12.5（conda-forge打包），scikit-learn 1.5.1。

代码复现 #

1. 单独使用RandomForestClassifier（正常处理NaN） #

from sklearn.ensemble import RandomForestClassifier
import numpy as np

X = np.array([np.nan, -1, np.nan, 1]).reshape(-1, 1)
y_single_label = [0, 0, 1, 1]

tree = RandomForestClassifier(random_state=0)
tree.fit(X, y_single_label)
X_test = np.array([np.nan]).reshape(-1, 1)
tree.predict(X_test)

2. 使用MultiOutputClassifier（正常训练） #

import numpy as np
from sklearn.ensemble import RandomForestClassifier
from sklearn.multioutput import ClassifierChain, MultiOutputClassifier

X = np.array([np.nan, -1, np.nan, 1]).reshape(-1, 1)

# 多标签分类的两个标签列
y = np.array([[0, 1], [0, 0], [1, 0], [1, 1]])

# 基础分类器
base_clf = RandomForestClassifier()

# 基于Binary Relevance的MultiOutputClassifier
clf_BR = MultiOutputClassifier(base_clf)
clf_BR.fit(X, y)

3. 使用ClassifierChain报错 #

# 初始化ClassifierChain
clf_chain = ClassifierChain(base_clf)
# 训练时触发报错
clf_chain.fit(X, y)

错误信息

Trial 0 failed with parameters: {'n_estimators': 30, 'max_depth': 16, 'max_samples': 0.4497444900238575, 'max_features': 550, 'order_type': 'random'} because of the following error: ValueError('Input X contains NaN. ClassifierChain does not accept missing values encoded as NaN natively. For supervised learning, you might want to consider sklearn.ensemble.HistGradientBoostingClassifier and Regressor which accept missing values encoded as NaNs natively. Alternatively, it is possible to preprocess the data, for instance by using an imputer transformer in a pipeline or drop samples with missing values.')

可行方案 #

方案一：重写ClassifierChain的输入验证逻辑 #

ClassifierChain的NaN检查来自父类的_validate_data方法，而RandomForest本身支持NaN。通过继承ClassifierChain，跳过NaN检查即可：

from sklearn.multioutput import ClassifierChain

class NaNCompatibleClassifierChain(ClassifierChain):
    def _validate_data(self, X, y=None, reset=True, validate_separately=False, **check_params):
        # 移除强制检查有限值的参数，关闭NaN检查
        check_params.pop("force_all_finite", None)
        return super()._validate_data(
            X, y, reset, validate_separately, 
            force_all_finite=False, **check_params
        )

# 使用自定义类替代原ClassifierChain
clf_chain = NaNCompatibleClassifierChain(base_clf)
clf_chain.fit(X, y)

注意：仅当基础估计器确实支持NaN时使用该方法，scikit-learn版本更新后需验证内部逻辑是否变化。

方案二：搭配支持NaN的链式实现（备选） #

若允许更换基础估计器，可使用HistGradientBoostingClassifier作为基础模型，它原生支持NaN，且ClassifierChain对其无NaN检查限制。但该方案仅适用于可替换基础模型的场景。

注意事项 #

• 重写_validate_data后，需严格验证模型在含NaN测试集上的预测效果，确保缺失值处理逻辑正常；
• 超参数调优时（如GridSearchCV），需确认自定义类的参数传递无异常；
• 避免盲目关闭NaN检查，仅在明确基础估计器支持NaN时操作，否则会引入未知错误。

内容的提问来源于stack exchange，提问作者BSalvatori