为什么基于树模型和集成学习的算法不需要进行特征缩放？

核心原理：树模型本身不需要特征缩放 #

树模型（包括决策树、LightGBM、XGBoost等所有基于树的集成算法）的节点分裂逻辑完全基于特征的取值阈值和对应的分裂增益（基尼系数、信息熵、平方误差、对数损失等指标的提升量），和特征的量纲、绝对取值范围没有任何关联。

举个简单的例子：假设特征A代表收入，取值范围是[2000, 100000]，特征B代表年龄，取值范围是[18, 70]，树模型在选择分裂特征的时候，只会计算在特征A上切分、或者特征B上切分带来的增益哪个更高，不会因为特征A的数值更大就优先选择它做分裂，因此完全不需要通过特征缩放拉平不同特征的取值范围，这也是为什么树模型对数据方差不敏感的核心原因。

缩放后效果下降的常见原因 #

你遇到的效果反向下降问题，通常是以下三类原因导致的：

• 缩放改变了特征的分布结构，干扰最优分裂点选择
  如果你使用的是非线性缩放（比如对数变换、Box-Cox变换、幂次变换等），会改变特征的取值分布形态，原本树模型可以找到的最优分裂阈值会被扭曲，分裂增益的计算出现偏差，反而选不到最优的分裂策略。即使是标准化、归一化这类线性缩放，如果你的树模型开启了特征采样、或者基于特征取值数量的分裂约束，也可能会影响特征的分裂优先级。
• 缩放过程引入了数据泄露
  如果你是先对全量数据集做缩放，再拆分训练集和测试集，那么测试集的分布信息（均值、方差、最大值、最小值等）会被纳入缩放的统计量计算，相当于训练过程提前拿到了测试集的信息，最终训练得到的树模型分裂阈值是拟合了全局分布的，泛化能力会大幅下降，表现出来就是测试集效果变差。
• 缩放放大了稀疏特征或异常值的负面影响
  如果你的特征中存在大量0值的稀疏特征、或者存在极少数远偏离整体分布的异常值，做min-max缩放等操作的时候，会把绝大多数正常取值压缩到极小的区间范围内，导致树模型在分裂的时候无法区分正常取值之间的差异，只能找到基于异常值的无意义分裂点，模型的拟合能力自然会下降。

实操建议 #

使用纯树类模型的场景下，除非你需要同时和线性模型做融合、或者要做跨特征的统计分析，否则不需要做任何特征缩放操作。如果确实有缩放需求，请注意两个原则：

1. 仅对有明确需求的特征做针对性缩放，不要对全量特征无差别处理
2. 必须先拆分训练集和测试集，仅用训练集的统计量计算缩放参数，再分别应用到训练集和测试集上，完全避免数据泄露。

内容的提问来源于stack exchange，提问作者yoon-seul