如何实现堆叠模型结果可复现？已设random_state仍存随机性
我之前也踩过这个坑！明明给每个模型都设了random_state，结果每次跑出来的准确率还是不一样。结合你用的这套堆叠组合（LR、SGD、RF做基模型，XGBoost做元模型），咱们来一步步排查可能的问题：
1. 先检查数据拆分的随机性
如果你的训练集/测试集拆分（比如用train_test_split）没固定random_state，那每次数据划分都不一样，哪怕模型本身的随机种子固定了，结果肯定也没法复现。
举个反例：如果你写的是
train_test_split(X, y, test_size=0.2)，一定要改成train_test_split(X, y, test_size=0.2, random_state=42)（或者你选的任意固定整数）。
2. 排查基模型的隐藏随机点
有些模型的random_state可能覆盖不全所有随机操作：
- SGDClassifier：除了
random_state，要注意默认开启的shuffle=True——虽然random_state会控制洗牌，但如果你的预处理流程里有其他随机步骤（比如用了RandomizedPCA这类随机特征降维）也要固定种子。另外，SGD的迭代逻辑在不同scikit-learn版本里可能有细微差异，尽量固定库版本。 - RandomForestClassifier：确认你固定了
n_estimators，且bootstrap=True时的采样是受random_state控制的——一般设了random_state就没问题，但如果之前不小心动态调整了树的数量，也会导致结果波动。
3. 堆叠过程的交叉验证是重灾区
堆叠模型的核心是用基模型的交叉验证预测结果作为元模型的特征，这里最容易忽略随机种子：
- 如果你用
StackingClassifier时直接传cv=5，默认的交叉验证拆分是随机的！哪怕基模型的种子固定了，每次的fold划分不一样，生成的元特征也会变，最终XGBoost元模型的结果自然不一致。
正确的做法是：不要直接传数字，而是传固定了随机种子的交叉验证器，比如：
from sklearn.model_selection import KFold cv = KFold(n_splits=5, shuffle=True, random_state=42) stacking_clf = StackingClassifier(estimators=base_models, final_estimator=xgb_clf, cv=cv)
4. 别漏了全局随机种子的设置
有些模型（比如SGD）会调用numpy的随机数生成器，而不是完全依赖自身的random_state。所以建议在代码开头就固定全局种子：
import random import numpy as np random.seed(42) np.random.seed(42)
5. 库版本一致性很重要
不同版本的scikit-learn、XGBoost对随机数的实现可能有细微调整，比如scikit-learn 0.24和1.0版本的RandomForest就有差异。可以用pip freeze导出依赖版本，每次运行都安装相同的版本，避免版本差异导致的随机性。
6. 并行计算的潜在问题
如果你的模型用了并行计算（比如RandomForest的n_jobs>1、XGBoost的nthread>1），有些旧版本的并行框架可能存在线程调度的随机性，导致结果不一致。可以先把n_jobs设为1测试，如果结果能复现，那就是并行的问题——要么升级库版本，要么固定并行参数。
最后建议你分步验证：先单独训练一个基模型，确认结果能复现；再测试堆叠的交叉验证部分，看生成的元特征是否一致；最后测试元模型的训练结果。一步步缩小问题范围，总能找到根源。
内容的提问来源于stack exchange，提问作者Pseudo
