caret包重采样输出中不同模型准确率完全一致是正常现象还是bug？

结论 #

这是完全正常的现象，不属于程序bug。

原因说明 #

• 你在训练每个模型前都设置了相同的随机种子set.seed(7)，结合你设定的10折交叉验证规则，caret会保证所有模型使用完全相同的训练集、测试集拆分规则，这是caret专门设计的机制，目的是保证不同模型对比的公平性，排除随机拆分带来的性能差异干扰。
• 本次测试用的鸢尾花是极简单的小数据集，总共只有150条样本，10折交叉验证每折的测试集仅包含15条样本。准确率的计算逻辑是分类正确样本数/测试集总样本数，因此单折准确率只能是1/15≈0.0667的倍数，可取值非常有限，不同模型在同一折测试集上得到相同准确率的概率本身就很高。
• 你看到的四分位数重合是10折交叉验证准确率统计后的结果，对于简单分类任务来说，多个模型的性能分布重叠非常常见，尤其是CART、SVM这类在简单任务上表现接近的模型，出现所有四分位数值完全一致的情况并不罕见。

验证方法 #

你可以通过以下调整验证该结论：

• 将交叉验证方案改为重复交叉验证，比如调整trainControl参数为trainControl(method="repeatedcv", number=10, repeats=5)，增加重采样次数后，性能分布的差异会更明显。
• 换用样本量更大、分类复杂度更高的数据集测试，四分位数的重合度会明显降低。

注意：不要随意删除模型训练前的统一随机种子设置，否则不同模型的交叉验证拆分不一致，无法保证性能对比的公平性。

内容的提问来源于stack exchange，提问作者Behnam Hedayat