0.632自助法（Bootstrapping）能否应用于回归任务？

当然可以！0.632自助法不仅在分类任务中发挥作用，在回归任务里也是一种可靠的模型泛化误差估计方法——它正是Efron在《Estimating the error rate of a prediction rule: improvement on cross-validation》中提出的，初衷就是改进传统交叉验证的误差估计效果。

根据Tibshirani在《The Elements of Statistical Learning》中的综述，0.632自助法里的留一法自助估计量（也就是权重为0.632的核心部分）计算方式如下：

$$ \hat{\text{Err}}^{(1)} = \frac{1}{N}\sum_{i=1}^{N} \frac{1}{|C^{-1}|} \sum_{b\in C^{-1}} L(y_i, \hat{f}^{*b}(x_i)) $$

咱们来拆解一下这个公式里的关键部分：

• $N$：回归数据集的总样本数量
• $L(y_i, \hat{f}^{{*b}(x_i))$：损失函数值，回归任务里常用的比如均方误差（MSE）、平均绝对误差（MAE）都可以，用来量化第$i$个样本的真实标签$y_i$和第$b$个自助样本训练出的模型$\hat{f}}{*b}$对$x_i$的预测结果之间的差异
• $C^{{-1}$：所有**未包含第$i$个样本**的自助采样子集的集合，$|C}{-1}|$则是这个集合的总数量

本质上，0.632自助法是对「自助重采样样本上的训练误差」和「留一法误差」的加权组合，0.632的权重赋予了留一法自助估计量，剩下的0.368权重对应重采样训练误差，这种组合能有效降低单纯自助法的估计偏差，让回归模型的泛化误差估计更准确。

内容的提问来源于stack exchange，提问作者Mageek