SHAP TreeExplainer加性检查失败 关闭后报KeyError问题排查

两个报错属于独立问题，不存在互斥关系，按对应场景修复即可：

1. TreeExplainer加性检查失败（ExplainerError） #

该报错在高维小样本稀疏数据集上触发概率极高，核心诱因是高维特征下树模型分裂的数值精度累积误差、默认特征扰动逻辑与稀疏特征的匹配偏差，不属于代码逻辑错误。修复按优先级执行：

• 优先在初始化TreeExplainer时显式指定参数，从根源减少计算偏差，不要直接关闭校验：

explainer = shap.TreeExplainer(
    model=current_fold_best_rf,
    feature_perturbation="interventional",
    data=current_fold_X_train  # 传入当前折训练集作为背景数据，禁止留空
)

interventional模式专门适配特征相关性高、稀疏度高的场景，能消除大部分特征扰动带来的SHAP值计算偏差。

• 若仍触发报错，先做两项校验：
  • 传入解释器的待解释数据、背景数据的列顺序，必须和模型训练时的特征列顺序完全一致，高维数据集很容易在编码、切分过程中出现列错位，直接导致计算偏差
  • 确认交叉验证每折使用的随机森林是全新初始化的实例，不要复用开启过warm_start的旧模型对象
• 上述操作完成后仍存在偏差，再添加check_additivity=False参数关闭校验。高维小样本场景下该偏差通常在1e-3量级，不会影响特征重要性排序的结论可靠性。

2. 测试集构造触发KeyError（行索引被识别为列名） #

该问题属于pandas索引逻辑错误，模拟数据集不触发是因为模拟数据默认使用0起始的连续整数行索引，和交叉验证切分返回的位置索引刚好匹配；真实数据集若经过样本筛选、采样操作，行索引通常不是连续位置值，直接传入索引数组会被pandas默认识别为列名检索。修复操作：

• 交叉验证切分前，对特征、标签数据显式重置行索引，丢弃原有索引标签：

X = X.reset_index(drop=True)
y = y.reset_index(drop=True)

• 所有取数据子集的操作，强制使用位置索引接口iloc，禁止直接用方括号传索引数组：
  • 错误写法（触发KeyError）：test_set = X[test_fold_index]
  • 正确写法：test_set = X.iloc[test_fold_index, :]
• 交叉验证循环内的中间结果（各折SHAP值、测试集索引、预测结果）统一用numpy数组存储，不要直接拼接带索引的pandas对象，所有折计算完成后再统一构造结果DataFrame，避免索引自动对齐带来的错位。

高维稀疏二值数据集适配优化 #

• 网格搜索阶段给随机森林固定max_features="sqrt"约束，减少高维无关特征带来的树分裂噪声，同时降低SHAP计算的数值误差
• 模型训练前先过滤方差为0的全0特征，这类特征对模型无任何贡献，只会增加计算量和数值偏差
• 219样本量的数据集嵌套交叉验证建议用5折外层、3折内层的配置，折数过高会导致单折训练集样本量过小，加剧模型不稳定性和SHAP计算偏差

内容的提问来源于stack exchange，提问作者Slowat_Kela