Weka中RandomForest分类器属性含义及分类作用机制咨询

对应属性窗口说明截图：

已提及属性的补充作用机制说明 #

• bagSizePercent：单棵决策树训练时的采样集占原始训练集的比例，默认值为100%。随机森林的Bagging采样默认采用有放回采样，因此就算该值设为100%，每个数据袋也会天然遗漏约36.8%的原始样本，这部分就是袋外（OOB）样本，可用于无验证集的泛化误差评估。若数据集规模很大，可适当降低该值加快训练速度，但数值过低会导致单棵树拟合度不足，抬升整体模型的方差。
• numIterations：随机森林包含的决策树数量，是核心超参数之一。树的数量越多，模型泛化能力通常会先快速提升，之后趋于平稳，不会出现过拟合问题。二分类任务建议初始设置为100~500，再根据训练算力和实际效果调整，数值低于50时模型稳定性会明显下降。
• outputOutOfBagComplexityStatistics：开启后会在训练结束后输出每棵树的节点数、深度、OOB误差随树复杂度变化的统计数据，适合调试树的剪枝参数，不需要分析模型复杂度时可关闭，减少冗余日志输出。
• numFeatures：单棵树节点分裂时随机选择的候选属性数量，是随机森林降低单树相关性、控制方差的核心参数。默认值0对应的就是分类任务通用的int(log_2(特征数)+1)规则，若数据集特征量很小，也可调整为平方根特征数的取值。该值越高，单棵树的拟合能力越强，但树之间的相关性也会同步上升，反而可能降低整体模型的泛化能力。

其他高频配置属性深度解析 #

• maxDepth：单棵决策树的最大深度，默认值为0（无深度限制）。若数据集噪声较多，限制树深度可有效避免单树过拟合，降低整体模型方差。如果二分类任务中出现OOB误差远低于测试集误差的过拟合表现，可尝试降低该值。
• minNumObj：每个叶子节点允许的最小样本数，默认值为1。属于剪枝相关参数，数值越高，单棵树的分裂规则越简单，泛化能力越强，但拟合能力会相应下降。若二分类任务存在类别不平衡问题，可适当调大该值，避免树过度拟合少数类的噪声样本。
• computeImportance：是否计算特征重要性，默认关闭。开启后会在训练结束后输出每个特征对分类任务的贡献度，适合用于特征筛选，但会增加额外计算开销，不需要做特征分析时可保持关闭。
• storeOutOfBagPredictions：是否存储所有样本的袋外预测结果，默认关闭。开启后可直接基于OOB预测结果计算混淆矩阵、ROC曲线等评估指标，不需要单独划分验证集，适合数据集规模极小的场景。
• seed：随机数种子，默认值为1。随机森林的采样、特征选择过程均依赖随机数，固定相同的seed可保证多次训练的结果完全一致，方便调参时做对照实验。
• printClassifiers：是否输出每棵决策树的具体结构，默认关闭。开启后会打印所有树的分裂规则，仅在需要调试单棵树的决策逻辑时开启，树数量较多时会产生大量冗余日志。
• breakTiesRandomly：节点分裂时如果出现多个最优分裂点，是否随机选择分裂规则，默认关闭。关闭时会默认选择第一个出现的最优分裂点，开启可提升树的随机性，适合数据集特征区分度极低的场景。
• doNotCheckCapabilities：是否跳过训练前的数据集兼容性检查，默认关闭。仅在确认数据集格式、类型完全符合RandomForest的输入要求时可开启，能小幅加快训练启动速度。

内容的提问来源于stack exchange，提问作者Encipher