基于树的学习算法纵向(leaf-wise)与横向(level-wise)生长的区别及优势

• 相同分裂次数下损失下降效率更高：leaf-wise每次会在所有可分裂的叶子节点中选择分裂增益最大的节点做分裂，而非强制同一层所有节点全部完成分裂再进入下一层，同等计算量下拟合效果更好，在高维稀疏数据场景下优势尤其明显。
• 计算资源浪费更少：不需要为同一层分裂增益极低的节点做不必要的分裂计算，大数据量下训练速度提升非常显著，这也是LightGBM早期性能优于原生level-wise实现的XGBoost的核心原因之一。
• 对差异特征的适配性更强：对于样本不均衡、特征贡献度差异大的场景，leaf-wise会优先给增益更高的分支做更深的分裂，不会被level-wise的统一层级限制卡住，对长尾样本、小众特征的关联捕捉能力更强。

注意：leaf-wise的优势建立在合理限制模型复杂度的前提下，实际使用时通常需要搭配max_depth（最大树深）、num_leaves（最大叶子节点数）的限制，避免无限制生长导致过拟合。

首先两者的原生早停逻辑确实有明显区别：
level-wise的默认早停规则绑定层级，要么达到预设的最大层数直接停止，要么连续N层的整体分裂增益低于阈值就停止；leaf-wise的默认早停规则绑定全局分裂收益，要么连续N次分裂的增益低于阈值停止，要么达到预设的最大叶子节点数停止。
业内对该差异的普遍看法如下：

• 两类早停逻辑没有绝对优劣，完全匹配场景需求即可：如果是对模型可解释性、复杂度约束极强的场景（比如金融风控、医疗诊断），level-wise的按层早停可控性更高，树的深度固定，分裂规则更容易回溯解释；如果是优先追求预测效果的场景（比如推荐排序、广告点击率预估），leaf-wise的按增益早停性价比更高，能在同等复杂度限制下拿到更好的业务指标。
• 当前工业界的主流树模型实现已经抹平了两者的绑定关系：现在的XGBoost已经支持leaf-wise生长模式，LightGBM也同时支持按树深、按叶子数、按分裂增益三种早停触发逻辑，用户可以根据自身需求自由组合，不需要根据生长方式绑定选择早停规则。
• 实际生产中全局早停的使用频率远高于单棵树的早停：目前业内最常用的早停方式不绑定单棵树的生长逻辑，而是观察整个集成模型在验证集上的指标变化，只要连续N轮（对应N棵树的迭代）验证集指标没有提升，就直接停止整体训练，单棵树的早停仅在极端性能优化场景下才会用到。

内容的提问来源于stack exchange，提问作者oliviastats