你提到的「重复训练+结果聚合」来抵消采样随机性、提升模型鲁棒性的思路，在Scikit-learn里有非常成熟的工具支持，甚至能对应不同场景提供多种实现方式，下面给你拆解几个核心方向：

1. 基于交叉验证的重复训练与结果聚合 #

这正好匹配你说的KFold、StratifiedKFold这类方法，Sklearn提供了高层封装，不用手动写繁琐循环：

• cross_val_score：自动按照指定的交叉验证策略重复训练模型，返回每一轮的评估分数，你可以直接对分数取均值/中位数，得到更鲁棒的性能指标。
  示例代码：

  from sklearn.model_selection import cross_val_score, StratifiedKFold
  from sklearn.ensemble import RandomForestClassifier
  from sklearn.datasets import load_iris
  
  X, y = load_iris(return_X_y=True)
  model = RandomForestClassifier()
  # 用分层5折交叉验证，重复训练5次（每次用不同的训练/测试划分）
  scores = cross_val_score(model, X, y, cv=StratifiedKFold(n_splits=5, shuffle=True))
  # 聚合结果：输出平均准确率和标准差（反映稳定性）
  print(f"平均准确率: {scores.mean():.2f}, 结果标准差: {scores.std():.2f}")
  

• cross_val_predict：如果需要得到每个样本在「未被训练到的折」中的预测结果，可以用这个工具，之后你能通过投票、平均等方式聚合这些预测值，生成最终的鲁棒性预测结果。

2. 基于Bagging的集成训练 #

这完美对应你说的「用随机生成的新训练样本重复训练」的场景：

• BaggingClassifier/BaggingRegressor：核心逻辑是对原始数据集做有放回的随机采样（Bootstrap抽样），训练多个独立的基模型，最后通过投票（分类任务）或平均（回归任务）聚合所有模型的结果。Sklearn直接封装了这个类，你可以灵活指定基模型、训练次数等参数：
  示例代码：

  from sklearn.ensemble import BaggingClassifier
  from sklearn.tree import DecisionTreeClassifier
  
  # 以决策树为基模型，训练100个基于不同采样数据集的模型
  bagging_model = BaggingClassifier(
      base_estimator=DecisionTreeClassifier(),
      n_estimators=100,
      bootstrap=True,  # 开启有放回采样
      random_state=42
  )
  bagging_model.fit(X, y)
  # 预测时自动完成100个模型的结果聚合
  y_pred = bagging_model.predict(X)
  

• 另外像RandomForestClassifier/RandomForestRegressor其实是Bagging的特例（基模型是决策树，同时还加入了特征采样），本质也是通过重复训练不同采样的模型来提升鲁棒性。

3. 自定义重复训练逻辑 #

如果你的需求比较特殊（比如自定义采样规则、聚合方式），Sklearn也提供了工具简化流程：

• 用sklearn.base.clone可以快速复制干净的模型实例，避免训练过程中的参数污染；
• 结合循环实现多次随机划分数据集训练，最后手动聚合结果：

  import numpy as np
  from sklearn.model_selection import train_test_split
  from sklearn.base import clone
  
  predictions = []
  base_model = RandomForestClassifier(random_state=42)
  # 重复训练10次，每次用不同的随机划分
  for _ in range(10):
      X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, shuffle=True)
      model_copy = clone(base_model)
      model_copy.fit(X_train, y_train)
      predictions.append(model_copy.predict(X_test))
  # 聚合：对所有预测结果取多数投票（分类任务）
  final_pred = np.array(predictions).mode(axis=0)[0]
  

除了Sklearn，像XGBoost、LightGBM这类框架也有类似的集成/交叉验证工具，核心思路都是通过重复训练不同采样的模型，用聚合结果抵消采样带来的随机性，最终提升模型的鲁棒性。

内容的提问来源于stack exchange，提问作者Rafael Valero