R语言多DataFrame自动识别同名同值列合并去重问题

核心逻辑 #

自动识别所有待合并数据框中，与ID唯一对应、全表值完全匹配的同名列，将这类列自动加入合并关联条件，避免出现重复拆分列；值存在差异的同名列则保留后缀拆分显示。

双数据框合并代码 #

library(dplyr)
library(purrr)

# 1. 提取两个数据框的公共列
common_cols <- intersect(colnames(dataset_1), colnames(dataset_2))
# 排除主键ID，筛选其他公共列
other_common_cols <- setdiff(common_cols, "ID")

# 2. 筛选出与ID对应关系完全一致的列
consistent_cols <- keep(other_common_cols, function(col) {
  map_1 <- dataset_1[, c("ID", col)] %>% distinct() %>% arrange(ID)
  map_2 <- dataset_2[, c("ID", col)] %>% distinct() %>% arrange(ID)
  identical(map_1, map_2)
})

# 3. 生成合并关联条件
join_keys <- c("ID", consistent_cols)

# 4. 执行合并
wanted_dataset <- dataset_1 %>% 
  full_join(dataset_2, by = join_keys)

运行上述代码后，示例中的species列会被自动识别为一致列加入关联条件，不会拆分；sites列因同ID值不同，合并后会保留sites.x、sites.y，完全符合预期的输出结构。

多数据框（14个）批量合并代码 #

如果需要合并多个数据框，只需将所有数据框存入列表后批量处理即可：

library(dplyr)
library(purrr)

# 先将所有待合并的14个数据框存入列表
df_list <- list(dataset_1, dataset_2, dataset_3, ..., dataset_14)

# 1. 提取所有数据框的公共列
all_common_cols <- Reduce(intersect, lapply(df_list, colnames))
other_common_cols <- setdiff(all_common_cols, "ID")

# 2. 筛选全列表中与ID对应关系完全一致的列
consistent_cols <- keep(other_common_cols, function(col) {
  # 提取每个数据框中ID与当前列的映射
  col_maps <- lapply(df_list, function(df) {
    df[, c("ID", col)] %>% distinct() %>% arrange(ID)
  })
  # 验证所有映射是否完全相同
  length(unique(col_maps)) == 1
})

# 3. 生成合并关联条件
join_keys <- c("ID", consistent_cols)

# 4. 批量合并所有数据框
final_dataset <- reduce(df_list, ~full_join(.x, .y, by = join_keys))

补充说明 #

• 该方案无需手动罗列匹配列，所有一致列的识别完全自动完成
• 若后续新增数据框，只需将其加入df_list即可，无需修改其他逻辑
• 非全表一致的同名列会保留默认的.x/.y后缀，避免数据覆盖

内容的提问来源于stack exchange，提问作者zakros