R语言大数据量下按分组校验另一列值一致性的高效方法

针对15万行以上的数据集，优先选择data.table方案，底层C优化的分组计算逻辑比常规base R、dplyr方案快数倍，百万行以内数据基本可以毫秒级返回结果。

推荐方案：data.table 实现（最高性能） #

# 加载包
library(data.table)
# 将数据框转为data.table对象，浅拷贝无额外性能开销
setDT(df)

# 第一步：按Name分组，统计每个分组下Score的唯一值数量
inconsist_name <- df[
  , 
  .(unique_score_cnt = uniqueN(Score), diff_values = paste(unique(Score), collapse = ",")),
  by = Name
][unique_score_cnt > 1]

运行后inconsist_name会直接返回所有存在Score取值不一致的Name，以及对应的不同Score值，用提供的示例数据跑，结果会直接定位到Tina对应的两个分数26、78。

如果需要定位原始数据中所有异常的明细行，追加一行代码即可：

# 提取所有异常Name对应的原始明细行
inconsist_detail <- df[Name %in% inconsist_name$Name]

参数说明 #

• 核心计算用内置的uniqueN()函数做去重计数，是C级优化实现，避免了R层循环的性能损耗
• 如果需要忽略NA值的影响，在uniqueN()中加参数na.rm = TRUE即可

备选方案：dplyr 实现（适配tidyverse生态） #

如果日常分析已经在使用tidyverse生态，也可以用dplyr实现，15万行量级性能也足够：

library(dplyr)

inconsist_name <- df %>%
  group_by(Name) %>%
  summarise(
    unique_score_cnt = n_distinct(Score),
    diff_values = paste(unique(Score), collapse = ","),
    .groups = "drop"
  ) %>%
  filter(unique_score_cnt > 1)

注意这里用n_distinct()而不是length(unique())，前者同样是C级优化，性能比后者高30%以上。

性能避坑 #

不要用base R的aggregate()、tapply()配合自定义R函数做分组计算，这类函数没有底层优化，15万行数据运行速度会比data.table方案慢10倍以上，数据量再大很容易出现卡顿。

内容的提问来源于stack exchange，提问作者JED HK