如何使用R的shapper包计算全数据集的Shapley值？

1 shapper包批量支持说明 #

shapper包原生的shap()函数确实仅支持单样本Shapley值计算，没有内置全数据集批量计算接口。你当前使用的串行循环写法效率极低主要有两个原因：一是Shapley值默认的蒙特卡洛采样计算成本高，二是循环中每次用cbind()动态扩列会产生大量额外内存拷贝开销。

2 高效实现方案 #

方案1：优先使用treeshap包（树模型专属，效率最高） #

针对随机森林这类树结构模型，TreeSHAP算法可以跳过蒙特卡洛采样，直接输出精确Shapley值，计算效率比shapper高上百倍，是该场景下的最优选择：

# 安装加载包
install.packages("treeshap")
library(treeshap)
# 将randomForest模型转换为treeshap支持的统一格式
rf_unified <- randomForest.unify(model_rf, data_train[,-1])
# 直接计算全测试集的SHAP值，返回矩阵每行对应一个样本，每列对应一个特征的SHAP值
shap_all <- treeshap(rf_unified, data_test[,-1])

方案2：使用fastshap包，支持通用模型并行计算 #

fastshap包适配绝大多数R的预测模型，支持并行批量计算，比shapper串行循环效率提升非常显著：

install.packages("fastshap")
library(fastshap)
# 定义适配随机森林的预测函数
pred_fun <- function(object, newdata) predict(object, newdata = newdata)
# 计算全测试集SHAP值，nsim为采样次数，ncores为调用的并行核心数
shap_all <- explain(model_rf, X = data_test[,-1], pred_wrapper = pred_fun, nsim = 100, ncores = parallel::detectCores()-1)

方案3：必须使用shapper时的优化方案 #

如果必须依赖shapper的输出格式，可以对现有代码做两点优化：预先初始化结果矩阵、改用并行遍历：

library(doParallel)
# 提前分配内存初始化结果矩阵，避免动态扩列开销
shap_runs <- matrix(NA, nrow = ncol(data_test)-1, ncol = nrow(data_test))
rownames(shap_runs) <- colnames(data_test[,-1])
# 注册并行集群
cl <- makeCluster(detectCores()-1)
registerDoParallel(cl)
# 并行遍历计算所有样本的SHAP值
shap_runs <- foreach(i = 1:nrow(data_test), .combine = cbind, .packages = c("DALEX", "shapper")) %dopar% {
  ive_rf <- shap(exp_rf, new_observation = data_test[i,-1])
  ive_rf[,"_attribution_"]
}
# 关闭并行集群释放资源
stopCluster(cl)

内容的提问来源于stack exchange，提问作者Tina Van Regenmortel