如何在left_join前标记并去除DataFrame多变量重复项

这种多连接键（a,b,c）重复导致的结果行数暴增问题我之前也踩过坑！核心原因是只要任意一张表中存在重复的(a,b,c)组合，left_join就会对重复的行进行笛卡尔积匹配，所以必须先对两张表分别做去重处理。下面是几种不同场景下的解决方案：

1. 简单去重：保留唯一的连接键组合 #

如果重复的行中，其他列的值对你来说不重要（或者重复行的其他列值一致），可以直接保留每个(a,b,c)组合的第一行（或任意一行）：

使用dplyr（推荐，代码更简洁） #

library(dplyr)

# 清理左表：保留唯一的a,b,c组合，同时保留其他列
df1_clean <- df1 %>% 
  distinct(a, b, c, .keep_all = TRUE)

# 清理右表：同样逻辑
df2_clean <- df2 %>% 
  distinct(a, b, c, .keep_all = TRUE)

# 执行连接
final_df <- left_join(df1_clean, df2_clean, by = c("a", "b", "c"))

.keep_all = TRUE参数会保留除连接键外的其他列，如果只需要保留连接键，可以去掉这个参数。

使用Base R #

如果你不想加载dplyr包，也可以用基础R的方法：

# 清理左表：通过连接键组合去重
df1_clean <- df1[!duplicated(paste(df1$a, df1$b, df1$c)), ]

# 清理右表
df2_clean <- df2[!duplicated(paste(df2$a, df2$b, df2$c)), ]

# 连接
final_df <- merge(df1_clean, df2_clean, by = c("a", "b", "c"), all.x = TRUE)

2. 聚合去重：处理重复键对应的不同列值 #

如果重复的(a,b,c)组合对应不同的其他列值（比如右表中同一个组合有多个数值），你需要对这些值做聚合处理（求和、取均值、合并字符串等）：

# 示例：对右表的数值列求和，字符列取第一个值
df2_clean <- df2 %>% 
  group_by(a, b, c) %>% 
  summarise(
    numeric_col = sum(numeric_col, na.rm = TRUE), # 数值列求和，忽略NA
    char_col = first(char_col), # 字符列取第一个出现的值
    .groups = "drop" # 取消分组，返回普通DataFrame
  )

# 左表如果也需要聚合，用同样逻辑处理后再连接
df1_clean <- df1 %>% 
  group_by(a, b, c) %>% 
  summarise(across(everything(), first), .groups = "drop")

final_df <- left_join(df1_clean, df2_clean, by = c("a", "b", "c"))

你可以根据实际需求替换聚合函数：比如mean()、max()、paste(collapse = ", ")（合并字符串）等。

3. 先排查重复情况（可选） #

在处理前，你可以先查看哪些(a,b,c)组合重复了，以及重复的次数，方便确定处理逻辑：

# 查看左表的重复组合及次数
df1_duplicates <- df1 %>% 
  count(a, b, c) %>% 
  filter(n > 1)

# 查看右表的重复组合及次数
df2_duplicates <- df2 %>% 
  count(a, b, c) %>% 
  filter(n > 1)

内容的提问来源于stack exchange，提问作者D. Studer