单变量评分者信度计算疑问：Kendall’s W异常及单熊猫多评分者处理

一、Kendall’s W返回NaN的原因与解决办法 #

原因 #

Kendall’s W（肯德尔协和系数）用于衡量多个评分者对**多个被试（熊猫）**的排序/评分一致性。当数据满足以下任一条件时，会因计算分母为0返回NaN：

• 单个评分者对所有被试的评分完全相同（无变异），无法形成有效排序；
• 所有被试的评分在评分者间完全无差异，不存在一致性的计算基础。

你的第一组示例数据中，Keeper_a、Keeper_b对两只熊猫的评分均为3，Keeper_c均为4——每个评分者的评分都没有变异，导致W值无法计算。

解决办法 #

• 数据清洗：筛选掉对所有熊猫评分完全一致的饲养员；若某只熊猫的所有评分者打分完全相同，考虑移除该熊猫数据（无变异的评分无法反映一致性）。
• 问卷调整：如果大量数据出现无变异情况，说明该形容词的评分标准过模糊或区分度差，需优化问卷的评分说明。

代码示例（移除无变异的评分者）：

library(irr)

# 原始数据
Keeper_a <- c(3, 3)
Keeper_b <- c(3, 3)
Keeper_c <- c(4, 4)
df <- data.frame(Keeper_a, Keeper_b, Keeper_c)

# 筛选有变异的评分者（标准差>0）
df_filtered <- df[, sapply(df, function(x) sd(x) > 0)]

# 若筛选后仍有足够评分者和被试，重新计算
if(ncol(df_filtered) >=2 && nrow(df_filtered)>=2){
  kendall(df_filtered, correct = TRUE)
} else {
  cat("数据变异不足，无法计算Kendall's W")
}

二、单只熊猫多饲养员的单形容词评分一致性计算 #

针对单只熊猫、多位饲养员（如4位）的单形容词评分，Mann-Whitney U仅适用于两组样本，不适合多组场景。以下是可行方案：

1. Kruskal-Wallis H检验（差异检验） #

用于检验多组独立样本（不同饲养员的评分）是否存在显著差异。若p>0.05，说明评分者之间的评分无显著分歧，一致性较好。

代码示例：

# 4位饲养员对单只熊猫的评分
scores <- c(3, 4, 3, 5)
keepers <- factor(c("K1", "K2", "K3", "K4"))

# Kruskal-Wallis检验
kruskal.test(scores ~ keepers)

2. Fleiss' Kappa（分类评分一致性） #

若评分是有序/分类数据（如1-5分的Likert量表），Fleiss' Kappa可直接计算多个评分者对单个被试的评分一致性，取值范围-1到1，越接近1一致性越高。

代码示例（需整理数据为矩阵格式，每行代表一个被试，每列代表一个评分者的评分）：

library(irr)

# 单只熊猫，4位饲养员的评分
score_matrix <- matrix(c(3,4,3,5), nrow=1, byrow=TRUE)

# 计算Fleiss' Kappa
fleiss.kappa(score_matrix)

3. 两两Spearman相关取平均 #

计算每对饲养员评分的Spearman秩相关系数（适配有序评分），再取所有两两相关的平均值，作为整体一致性的参考指标。

代码示例：

# 4位饲养员的评分
scores <- data.frame(K1=3, K2=4, K3=3, K4=5)

# 计算两两Spearman相关
cor_matrix <- cor(scores, method="spearman")

# 提取上三角相关值并取平均
avg_cor <- mean(cor_matrix[upper.tri(cor_matrix)])
cat("平均Spearman相关系数：", avg_cor)

内容的提问来源于stack exchange，提问作者Fran