对bagging模型再做bagging及随机森林相关集成用法是否合理？

1. Bagging模型再执行Bagging是否有实际应用意义？ #

• 绝大多数场景下没有实用价值。Bagging的核心作用是降低高方差基学习器的预测方差，前提是基学习器本身方差高、偏差低。如果第一层Bagging已经充分降低了集成模型的方差，再叠一层Bagging能带来的效果提升微乎其微，反而会成倍增加训练和推理的计算成本，性价比极低。
• 仅在极少数极端场景下可能有微小收益：比如第一层Bagging的基学习器数量非常少，方差还没有被充分降低，但这种情况直接增加第一层的基学习器数量即可，完全没必要额外叠加一层Bagging。

2. 对随机森林应用Bagging集成是否合理？ #

• 完全不合理，属于重复冗余的低效率操作。
  随机森林本身就是以决策树为基学习器的Bagging变体，自带样本采样、特征采样的方差降低机制，给随机森林再套一层Bagging，最终效果和直接增加随机森林内部的决策树数量几乎一致，但计算开销会高很多：比如你示例中的写法是训练10个随机森林，假设每个随机森林本身有100棵树，总共需要消耗1000棵树的计算资源，但你直接把单棵随机森林的n_estimators参数设为1000，效果差不多，训练速度还更快，既少了外层Bagging的采样开销，也没有额外的集成逻辑损耗。
  你给出的示例写法完全不推荐，属于无意义的算力浪费：

brf = BaggingRegressor(base_estimator=RandomForestModel,
                        n_estimators=10,
                        max_samples=1.0,
                        bootstrap=True, # Samples are drawn with replacement
                        n_jobs= n_jobs,
                        random_state=random_state).fit(X_train, Y_train)

3. Stacking堆叠集成中，随机森林作为基学习器或是元学习器是否可行？ #

• 作为基学习器：完全可行，是工业界非常常用的做法。随机森林输出稳定性好、无需复杂的特征预处理，能有效捕捉特征的非线性关系，和线性模型、梯度提升树等其他类型的基学习器搭配，可以给上层元学习器提供差异度足够的输入特征，明显提升最终的集成效果。
• 作为元学习器：也可行，但使用时需要注意控制过拟合风险。元学习器的输入是下层基学习器的输出，特征维度通常不高，用随机森林当元学习器时，需要调小树的最大深度、调大叶子节点最小样本数，避免在有限的元特征上过拟合。一般实际应用中用逻辑回归/线性回归这类简单模型当元学习器的场景更多，但随机森林作为元学习器在非线性较强的任务上也能拿到不错的效果。

内容的提问来源于stack exchange，提问作者Victor Medeiros