三类自动Grader与人类Grader成绩对齐度分析的适宜统计检验方法

1. 绝对分值契合度分析 #

针对自动评分器与人类评分器的绝对分值匹配度，推荐使用配对样本t检验：

• 适用场景：两者对同一组作业评分，属于配对数据。检验核心是判断自动评分与人类评分的均值是否无显著差异。
• 操作步骤：计算每份作业的自动评分与人类评分差值，检验差值的均值是否显著为0。若p值>0.05（默认显著性水平），说明该自动评分器的绝对分值与人类评分无显著偏差。
• 局限性：仅3份作业的样本量极小，t检验的统计效力不足，结果参考性有限。建议补充计算Pearson相关系数，系数越接近1，代表分值的线性契合度越高。

2. 相对排名契合度分析 #

针对作业排名的一致性，必须使用Spearman秩相关检验：

• 适用场景：排名属于有序分类数据，t检验无法有效衡量这类数据的关联。该检验通过比较两组排名的秩次，判断一致性程度。
• 操作步骤：将人类评分和自动评分分别转换为作业的排名（1-3），计算秩相关系数。系数越接近1，排名契合度越高；同时可获取p值，判断该一致性是否具有统计显著性。

3. 综合判断逻辑 #

要确定哪款自动评分器与人类最契合，需结合两类指标：

• 绝对维度：配对t检验的p值（判断均值差异）+ Pearson相关系数（判断分值关联强度）
• 排名维度：Spearman秩相关系数及对应p值（判断排名一致性）

内容的提问来源于stack exchange，提问作者John Reeds