Gradient Boosted Tree：基于残差还是完整训练集提升？是否加权样本？

我特别理解你看维基百科时的困惑——整体梯度提升算法提了残差，但到梯度提升树部分又重点讲γ_i（每个弱学习器的权重），没提残差和样本加权，这很容易让人摸不清头绪。咱们把这两个问题拆解清楚：

1. 梯度提升树是基于残差还是完整训练集进行提升？ #

其实残差是梯度提升的一个特例，只有当损失函数是平方误差损失时，损失函数的负梯度才等于残差（真实值 - 当前模型预测值）。

梯度提升树是更通用的框架：每一轮训练新的弱树时，并不是直接用原始训练集的标签，而是拟合当前模型的损失函数负梯度——这个负梯度可以理解为“当前模型在每个样本上的‘误差信号’”。比如在分类任务用对数损失时，负梯度就不是残差了，但本质都是让新的弱树去修正当前模型的错误。

所以说，它不是基于完整原始训练集重新拟合目标，而是基于当前模型的“误差信号”（负梯度/残差，取决于损失函数）来提升。

2. 梯度提升树是否像AdaBoost那样对单个训练样本进行加权？ #

和AdaBoost的逻辑完全不一样！

AdaBoost是显式地给每个样本加权：每一轮训练后，给预测错误的样本提高权重，让下一个弱学习器更关注这些难分的样本。

而梯度提升树不会显式修改样本权重，它是通过拟合负梯度来间接关注预测不准的样本：如果某个样本的预测误差大，它对应的负梯度绝对值就大，下一棵弱树在训练时，会优先拟合这个样本的误差信号，相当于“自动聚焦”到难分样本上，但这不是通过修改样本权重实现的。

另外要提一句，像XGBoost这类工具里有样本权重的参数，但那是用户外部指定的（比如某些样本本身更重要），不是算法内部迭代产生的加权逻辑，和AdaBoost的加权完全是两回事。

内容的提问来源于stack exchange，提问作者Romeo Kienzler