使用决策树进行特征选择时是否需划分训练测试集？

必须先划分训练集与测试集，绝对不能直接在全量数据集上拟合决策树完成特征选择，核心原因和正确操作逻辑如下：

• 直接用全量数据做特征选择属于典型的数据泄露。别觉得特征选择是和模型训练无关的“前置预处理”：你用决策树算特征重要性、筛有效特征的过程，本身就是从数据里学习特征和标签关联规则的拟合过程。如果这个阶段就用了全量数据，相当于提前把测试集的样本分布、特征和标签的关联信息偷看到了，后续不管你用什么机器学习模型，哪怕之后再补做训练测试划分，跑出来的测试集效果都是虚高的，完全反映不了模型在真实未知患者数据上的泛化能力——这种自欺欺人的结果放到医疗诊断这类高风险场景里，上线后模型性能直接跳水是大概率事件。
• 正确的执行流程要严格把测试集和训练环节隔离开：
  1. 第一步先把全量数据拆成训练集、测试集，二分类任务记得用分层抽样，保证两边患病/不患病的样本比例和原数据集一致，拆完测试集直接封存，整个特征选择、模型调参阶段半分都碰不到。
  2. 特征选择全在训练集内部做：你可以在训练集上跑交叉验证拟合决策树，基于基尼系数、信息增益算特征重要性，把重要性极低的冗余特征删掉；如果要调决策树最大深度、节点最小分裂样本数这类参数，也全靠训练集交叉验证选，全程不能沾测试集的数据。
  3. 等筛出来的特征子集完全固定了，再用对应特征的训练集数据去训练你后续要用的其他机器学习模型，所有调参过程同样在训练集交叉验证里完成。
  4. 直到特征规则、模型参数全部锁死，再把之前封存的测试集拿出来跑一次效果评估，这时候出来的指标才是能信的泛化效果。
• 如果你的数据集样本量太小，怕单次拆分之后训练集信息不够用，可以换嵌套交叉验证的方式做特征选择和模型评估，核心原则不能破：每一轮交叉验证里，特征选择的拟合过程只能用当前轮次的训练折数据，绝对不能碰对应验证折的样本，说白了还是不许直接拿全量数据做特征筛选。

踩过坑的人提个醒：很多新手图省事儿全量数据跑完特征选择再切分训练测试，最后测出来AUC能到0.95，上线碰到新数据连0.7都到不了，问题全出在这一步的信息泄露上。

内容的提问来源于stack exchange，提问作者lorenzlorg