R语言:识别两列完全匹配的重复行并仅删除1条重复实例
R 按指定两列分组每组仅删除1条重复行的实现方法
核心逻辑说明
按Course_ID、Text_ID两列分组后,对行数≥2的分组仅删除1条记录、保留剩余所有行,同时保留全部其他业务字段,以下是三种主流实现方案:
方案1:dplyr 实现(可读性最高)
library(dplyr) # 示例数据构造,可直接替换为你自己的数据集 df <- tibble( Course_ID = c(33,33,58,5,8,42,42,17,17,35,51), Text_ID = c(17,17,17,22,22,25,25,26,26,39,39) # 其余业务字段会自动保留,无需额外处理 ) # 处理逻辑:按两列分组后,单条组全部保留,重复组仅删除第1条 df_result <- df %>% group_by(Course_ID, Text_ID) %>% filter(n() == 1 | row_number() != 1) %>% ungroup()
针对你给出的示例数据,处理后结果如下:
| Course_ID | Text_ID |
|---|---|
| 33 | 17 |
| 58 | 17 |
| 5 | 22 |
| 8 | 22 |
| 42 | 25 |
| 17 | 26 |
| 35 | 39 |
| 51 | 39 |
完全符合每组重复行仅删1条的要求。如果你的重复组可能存在≥3条记录,仅需删除任意1条即可的场景下,也可以将过滤逻辑替换为slice(-1),效果完全一致。
方案2:基础R实现(无需加载第三方包)
# 生成每个分组内的行号 group_row <- ave(rep(1, nrow(df)), df$Course_ID, df$Text_ID, FUN = seq_along) # 过滤掉重复组的第1行,其余行全部保留 df_result <- df[!(group_row == 1 & ave(group_row, df$Course_ID, df$Text_ID, FUN = max) >=2), ]
方案3:data.table实现(大数据量下性能最优)
library(data.table) setDT(df) # 按两列分组,单条组全保留,重复组从第2条开始保留 df_result <- df[, .SD[if(.N ==1) 1:.N else 2:.N], by = .(Course_ID, Text_ID)]
内容的提问来源于stack exchange,提问作者Japes
相关产品推荐
相关产品推荐

