为何随机打乱测试集样本行时，含堆叠集成的不平衡分类模型性能会下降？

首先明确一个基础逻辑：本次实验用到的所有模型，都不存在依赖测试集样本顺序的预测逻辑。不管是随机森林、梯度提升树、决策树、SVM、K近邻、高斯朴素贝叶斯，还是你实现的堆叠集成结构，对单个测试样本的预测结果，完全由样本本身的三维特征决定，和样本在测试集中的排列位置、相邻样本是什么没有任何关联。哪怕是你实现的6组堆叠集成模型，其内部流程也是逐样本完成基学习器预测、再将预测值传入元学习器输出最终结果，不存在跨样本的顺序依赖，更不会因为测试集行序变化改变对单样本的判断。

正常情况下，无论你把测试集的行顺序打乱多少次，只要保证「打乱后的特征样本」和「对应同顺序的标签」严格匹配，最终计算得到的混淆矩阵、平衡准确率和未打乱顺序时的结果完全一致，不可能出现性能大幅下降的情况。

本次实验出现的性能退化，本质是调整实验流程时出现了特征-标签对齐错位的bug，和模型鲁棒性、泛化能力没有关系，常见的错位场景完全匹配你的实验配置：

• 最高概率的错位：仅对测试集特征数组做了随机行打乱，没有使用同一个打乱索引同步打乱对应的测试集标签数组
  这种场景下，模型输出的预测结果是按照打乱后的特征顺序生成的，但参与指标计算的标签还是原来未打乱顺序的排列，相当于把每个样本的预测值和随机错配的标签做比对。尤其是你构建的是两类各250样本的极度不平衡数据集，这种错配会让少数类的预测结果完全匹配不到对应标签，算出来的混淆矩阵会呈现出和随机猜测类似的性能，看起来就像模型泛化能力暴跌。
• 次常见的错位：计算指标时没有将模型预测结果和当前测试集的行顺序做绑定
  比如你调整流程时打乱了测试集行序，但调用模型预测时用的还是原来未打乱顺序的特征数组，之后又拿打乱后的标签数组和这个预测结果做比对，同样会出现标签和特征错配的问题。
• 容易被忽略的前置问题：初始数据集拆分时未做全量随机打乱，未打乱测试集行时的“良好性能”本身是顺序带来的假象
  你用make_blobs生成数据集时，默认是按类依次生成样本的：先输出第一类250个样本，再输出第二类24500个样本，最后输出第三类250个样本。如果初始拆分训练/测试集时，没有先对全量数据集做整体随机打乱，直接按行比例切分20%测试集，会导致测试集的样本分布和真实分布完全不一致。原来未打乱测试集行时的高指标，本质是拆分顺序带来的样本错配假象；等你尝试打乱测试集行序时，相当于修正了部分样本对齐逻辑，反而让原本虚高的指标回落到真实水平。

快速排查验证方法 #

你可以做一个简单的校验：从打乱后的测试集中随机抽取任意一个样本，单独将其输入已经训练好的模型，对比这个样本在原未打乱测试集中的预测结果，如果两次预测完全一致，就可以排除模型本身的问题，100%是流程中的对齐bug。

内容的提问来源于stack exchange，提问作者Gerard