随机森林中Bootstrap数据集定义及特征采样方式确认

随机森林的标准实现（依据Breiman的原始定义）采用的是第一种特征采样方式：

• 每棵树基于Bootstrap采样得到的训练样本构建；在树的每个节点分裂时，直接从完整的原始特征集S中随机选取一个特征子集，再从这个子集中筛选出最优的分裂特征。

你提到的第二种方式（先为单棵树固定一个特征子集S1，再在S1范围内为每个节点采样）属于随机森林的变体实现，并非标准流程。原始算法通过让每个节点独立进行特征采样，进一步强化了单棵决策树之间的多样性，以此提升模型整体的泛化性能。

内容的提问来源于stack exchange，提问作者figs_and_nuts