取两模型平均准确率进行t.test显著性检验是否合理？

直接取Model1和Model2的平均准确率进行t检验，以此判断哪个模型表现更优是不正确的，原因如下：

• 忽略了数据的配对属性：每个数据集/语言对应的两个模型得分是配对关系——它们是在同一任务上的结果，并非独立样本。直接计算平均后做检验，会丢失每个任务内的差异信息，大幅降低统计检验的效力，甚至得出错误结论。正确的做法应该是针对每个任务下的得分差值，进行配对t检验，判断差值的均值是否显著偏离0。
• 简单平均的权重不合理：不同数据集的规模、难度、任务价值差异可能极大，简单平均相当于给每个数据集赋予同等权重，这不符合实际情况。比如一个大样本的核心任务数据集，和一个小样本的边缘任务数据集，对模型性能的参考价值完全不同，简单平均会弱化关键任务的影响。
• 不满足t检验的前提条件：如果仅用两个模型的平均准确率做检验，相当于样本量只有1，完全达不到t检验对样本量的要求，这样的检验没有任何统计学意义。

推荐的正确做法 #

• 优先使用配对t检验：基于每个数据集/语言下Model1与Model2的准确率差值，检验差值的均值是否显著不等于0，以此判断模型性能是否存在显著差异。
• 若数据集差异大，考虑加权配对t检验：根据数据集的样本量、任务重要性等因素赋予不同权重，再进行检验，让结果更贴合实际场景。
• 当数据不满足正态分布假设时，改用Wilcoxon符号秩检验等非参数检验方法，结果会更稳健。

内容的提问来源于stack exchange，提问作者pl7771