You need to enable JavaScript to run this app. R语言:识别两列完全匹配的重复行并仅删除1条重复实例
优惠活动
大模型
产品
解决方案
定价
更多

R语言:识别两列完全匹配的重复行并仅删除1条重复实例

R 按指定两列分组每组仅删除1条重复行的实现方法

核心逻辑说明

按Course_ID、Text_ID两列分组后,对行数≥2的分组仅删除1条记录、保留剩余所有行,同时保留全部其他业务字段,以下是三种主流实现方案:


方案1:dplyr 实现(可读性最高)

library(dplyr)

# 示例数据构造,可直接替换为你自己的数据集
df <- tibble(
  Course_ID = c(33,33,58,5,8,42,42,17,17,35,51),
  Text_ID = c(17,17,17,22,22,25,25,26,26,39,39)
  # 其余业务字段会自动保留,无需额外处理
)

# 处理逻辑:按两列分组后,单条组全部保留,重复组仅删除第1条
df_result <- df %>%
  group_by(Course_ID, Text_ID) %>%
  filter(n() == 1 | row_number() != 1) %>%
  ungroup()

针对你给出的示例数据,处理后结果如下:

Course_IDText_ID
3317
5817
522
822
4225
1726
3539
5139

完全符合每组重复行仅删1条的要求。如果你的重复组可能存在≥3条记录,仅需删除任意1条即可的场景下,也可以将过滤逻辑替换为slice(-1),效果完全一致。


方案2:基础R实现(无需加载第三方包)

# 生成每个分组内的行号
group_row <- ave(rep(1, nrow(df)), df$Course_ID, df$Text_ID, FUN = seq_along)
# 过滤掉重复组的第1行,其余行全部保留
df_result <- df[!(group_row == 1 & ave(group_row, df$Course_ID, df$Text_ID, FUN = max) >=2), ]

方案3:data.table实现(大数据量下性能最优)

library(data.table)
setDT(df)
# 按两列分组,单条组全保留,重复组从第2条开始保留
df_result <- df[, .SD[if(.N ==1) 1:.N else 2:.N], by = .(Course_ID, Text_ID)]

内容的提问来源于stack exchange,提问作者Japes

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.13 21:06:03