使用R中Light's Kappa计算评分者信度：结果偏低的疑问

我有4名评分者对10个受试者进行评分（实际数据中还涉及多个变量），选用Light's Kappa计算评分者信度，运行代码后得到kappa=0.545，但实际上评分者几乎在所有评分上达成一致，这个结果明显偏低。想知道是否有其他计算评分者信度的方法，比如两两评分者组合计算的方式。

代码示例：

subjectID<- c(1,2,3,4,5,6,7,8,9,10)
rater1<- c(3,2,3,2,2,2,2,2,2,2)
rater2<-c(3,2,3,2,2,2,2,2,2,2)
rater3<- c(3,2,3,2,2,2,2,2,2,2)
rater4<-c(3,2,1,2,2,2,2,2,2,2)

df <- data.frame(subjectID, rater1, rater2, rater3, rater4)

kappam.light(df)

为什么Light's Kappa值偏低？ #

Kappa统计量的核心是扣除偶然一致的比例，公式为：Kappa = (实际一致率 - 偶然一致率) / (1 - 偶然一致率)。
在你的数据中，评分类别分布极不均衡：10个受试者里，9个的评分都是2，仅1个出现1，3的占比也很低。这种情况下，偶然一致率会被拉得很高，导致最终的Kappa值被大幅压低，即使实际一致率接近100%（仅1个受试者有分歧）。

替代的评分者信度计算方法 #

1. 百分比一致率（Percent Agreement）

直接计算所有评分者完全一致的比例，直观反映实际一致程度，适合这种一致率极高的场景：

# 计算每个受试者的评分是否完全一致
df$all_agree <- apply(df[, -1], 1, function(x) length(unique(x)) == 1)
# 计算一致率
percent_agree <- mean(df$all_agree)
print(percent_agree) # 输出0.9，即90%的受试者评分完全一致

2. 两两Cohen's Kappa取平均

对每一对评分者计算Cohen's Kappa，然后取平均值（简单平均或加权平均），能更细致地反映两两之间的一致性：

library(irr)
# 生成所有评分者对的组合
rater_pairs <- combn(colnames(df)[-1], 2)
# 计算每对的Cohen's Kappa
kappa_values <- apply(rater_pairs, 2, function(pair) {
  kappa2(df[, pair])$value
})
# 取平均
mean_kappa <- mean(kappa_values)
print(kappa_values) # 输出各对的Kappa值
print(mean_kappa) # 输出平均Kappa

3. Fleiss' Kappa

适合多评分者、多对象的分类场景，和Light's Kappa类似，但需要将数据转换为长格式：

library(irr)
# 转换为长格式（每行对应一个受试者-评分者的评分记录）
df_long <- reshape(df, direction = "long", varying = colnames(df)[-1], 
                   v.names = "score", idvar = "subjectID", timevar = "rater")
# 计算Fleiss' Kappa
fleiss_kappa <- kappa.fleiss(df_long[, c("subjectID", "rater", "score")])
print(fleiss_kappa$value)

4. 组内相关系数（ICC）

如果你的评分是有序类别（比如1-3代表程度高低），ICC更适合，它能考虑评分的顺序信息，衡量评分者之间的一致性：

library(irr)
# 计算ICC（双向随机效应模型，绝对一致性）
icc_result <- icc(df[, -1], model = "twoway", type = "agreement")
print(icc_result$value)

内容的提问来源于stack exchange，提问作者Roaring