如何判断不同决策树模型的优劣？附混淆矩阵及cptable对比

模型优劣判断 #

你遇到的偏差本质是训练集拟合效果和模型泛化能力的取舍问题：

• m2的混淆矩阵零错误是训练集上的拟合结果，你将minsplit设为2后，树的分支可以分到最小样本量为2的节点，完全拟合了训练集的所有特征甚至噪声，已经处于过拟合状态。从m2的cptable也能验证这点：当nsplit（分支数）达到10时，交叉验证误差xerror涨到了0.769，比分支数为4时的0.615高很多，说明全拟合的m2在未见过的验证集上表现大幅下降，放到新数据中预测错误率会很高。
• m3是按照最小交叉验证误差对应的CP值剪枝得到的模型，剪掉了过拟合的冗余分支，虽然你观测到的当前数据集误差比m2高，但这个误差如果是训练集上的结果完全符合预期，m3的泛化能力远强于过拟合的m2，在独立测试集上的表现会更稳定。
• 选型建议：如果你的使用场景只需要在当前固定数据集上做离线分类，不需要处理新数据，可以选m2；如果需要模型上线处理未知样本、要求可解释性，优先选m3。

决策树对比的核心评估参数 #

对比决策树模型不能只看训练集准确率，要结合多维度参数判断：

• 交叉验证指标（xerror、xstd）：这是rpart生成的cptable中最核心的选型依据，优先选择xerror（交叉验证误差）最小的树，行业通用的还有1标准差规则：选择xerror不超过「最小xerror+1倍xstd」的最简单的树，进一步降低过拟合风险。
• 独立测试集的衍生指标：用和训练集无重叠的标注测试集生成混淆矩阵，计算准确率、精确率、召回率、F1值，这些指标才能真实反映模型的实际表现，训练集的混淆矩阵只能用来判断模型的拟合程度，不能作为选型的唯一依据。
• 模型复杂度：同等效果下优先选择nsplit（分支数）更少、节点数更少的树，不仅可读性更强，过拟合的概率也更低。
• 业务适配指标：如果是风控、医疗这类对误判、漏判容忍度不同的场景，要优先对应业务需求看召回率、特异度等指标，不要只追求整体准确率。

内容的提问来源于stack exchange，提问作者Abraham