多水平配对比较数据分析咨询：两组图片偏好研究统计问题

1. 跨组所有可能组合数计算 #

你之前用的n(n-1)/2是组内两两比较的公式，不适用于跨组配对场景。跨组的所有可能组合数是两组样本量的乘积：
107 * 100 = 10700
即Group A的每一张图片都要和Group B的每一张图片配对一次，总共10700组跨组配对。

2. 最小必要比较组数（样本量估算） #

无法完成全部10700组比较时，所需的最小组数取决于你要检测的差异大小、显著性水平和检验功效，核心思路是通过统计方法估算能稳定推断两组差异的样本量：

• 关键参数：通常取显著性水平α=0.05，检验功效power=0.8（即有80%概率检测到真实存在的差异）；另外需要预期的偏好差异程度——比如假设Group A的偏好率是0.55（比B高5%），还是0.6（比B高10%），差异越大，所需样本量越少。
• 独立配对场景（每个配对由不同参与者完成）：用二项检验的样本量公式估算，若预期A的偏好率为0.55，α=0.05，power=0.8，大约需要1000组左右；若预期偏好率为0.6，仅需约380组。
• 重复测量场景（同一参与者完成多组配对）：需考虑参与者内的相关性，样本量可适当减少，但要控制疲劳效应，避免参与者选择失真。
• 专业模型参考：如果用Bradley-Terry模型分析，样本量建议至少达到每组图片数量的3-5倍，或根据预期的参数效应量调整。

3. 差异验证的分析方法 #

二项检验 #

最直接的方法：将每个配对的选择视为二分类结果（选A/选B），检验总体中选A的比例是否等于0.5（即两组无差异）。样本量较大时，结果和卡方检验一致，但小样本下二项检验更准确。

卡方拟合优度检验 #

统计所有配对中选A和选B的频数，与“两组无差异”的预期频数（各占50%）做比较，判断实际分布是否偏离预期。适合大样本场景。

Bradley-Terry模型 #

如果需要深入分析单张图片的偏好差异，或存在重复配对数据，该模型是最优选择。它会为每张图片估计一个“偏好能力”参数，通过比较Group A和Group B参数的整体分布，判断两组是否存在显著差异，还能识别出组内受欢迎或不受欢迎的个体图片。

4. R语言分析实现 #

二项检验示例 #

# 模拟数据：1000次比较，550次选A、450次选B
choices <- c(rep("A", 550), rep("B", 450))
# 检验选A的比例是否等于0.5
binom.test(sum(choices == "A"), length(choices), p = 0.5)

卡方拟合优度检验示例 #

# 统计选择频数
choice_freq <- table(choices)
# 与预期的1:1比例做检验
chisq.test(choice_freq, p = c(0.5, 0.5))

Bradley-Terry模型实现（用BradleyTerry2包） #

# 安装并加载包
install.packages("BradleyTerry2")
library(BradleyTerry2)

# 构造模拟配对数据：item1是A组图片，item2是B组图片，winner是选中的图片
set.seed(123)
pair_data <- data.frame(
  item1 = paste0("A", sample(1:107, 100, replace = TRUE)),
  item2 = paste0("B", sample(1:100, 100, replace = TRUE)),
  winner = ifelse(runif(100) > 0.4, "item1", "item2") # 模拟A组更受欢迎
)

# 转换为模型所需格式
bt_format_data <- countsToBinomial(pair_data, item1, item2, winner)

# 拟合Bradley-Terry模型
bt_model <- BTm(cbind(win1, win2), item1, item2, data = bt_format_data)

# 查看模型结果（含每张图片的偏好参数）
summary(bt_model)

# 比较A、B两组的偏好参数分布：用Wilcoxon秩和检验
params <- coef(bt_model)
a_group_params <- params[grepl("^A", names(params))]
b_group_params <- params[grepl("^B", names(params))]

wilcox.test(a_group_params, b_group_params)

内容的提问来源于stack exchange，提问作者jlhey6060