如何用R的diffdf包比较数据集？解决BY变量不唯一报错

报错原因分析 #

你遇到的BY variables in BASE do not result in unique observations报错，核心原因是**df1_subset中ID1+ID2的组合存在重复行**。diffdf要求作为对比键的列必须对应唯一观测，否则无法完成一对一的新旧版本数据对比。

重复ID组合排查 #

先确认两个子集里的ID组合是否真的重复，用以下代码检查：

library(dplyr)

# 检查df1_subset中的重复ID组合
df1_duplicates <- df1_subset %>% 
  count(ID1, ID2) %>% 
  filter(n > 1)

# 检查df2_subset中的重复ID组合
df2_duplicates <- df2_subset %>% 
  count(ID1, ID2) %>% 
  filter(n > 1)

如果df1_duplicates有输出结果，说明df1_subset确实存在重复的ID组合，这就是报错的直接原因。

重复问题处理 #

1. 无效重复行：直接去重 #

如果重复行是数据冗余导致的无效记录，可先对两个子集去重，再用diffdf对比：

# 保留每个ID组合的第一行（可根据业务逻辑调整保留规则）
df1_subset_unique <- df1_subset %>% distinct(ID1, ID2, .keep_all = TRUE)
df2_subset_unique <- df2_subset %>% distinct(ID1, ID2, .keep_all = TRUE)

# 重新执行diffdf对比
diffdf(df1_subset_unique, df2_subset_unique, keys = c("ID1", "ID2"))

2. 有效重复行：调整对比逻辑 #

如果重复行是业务上的有效记录（比如同一ID组合对应多条不同状态的记录），diffdf的一对一对比逻辑不再适用，需要换用其他方法。

替代对比方案 #

方案1：dplyr组合对比（灵活通用） #

适合中等规模数据，可同时处理共有ID的差异、新增/删除的ID：

# 合并新旧数据，标记来源
combined_data <- full_join(
  df1 %>% mutate(source = "old"),
  df2 %>% mutate(source = "new"),
  by = c("ID1", "ID2"),
  suffix = c("_old", "_new")
)

# 筛选存在差异的行（示例：对比所有非ID列的差异）
diff_rows <- combined_data %>%
  rowwise() %>%
  mutate(
    has_diff = any(
      c_across(-c(ID1, ID2, source)) %>% 
        {!is.na(.)} %>% 
        duplicated(fromLast = TRUE) == FALSE
    )
  ) %>%
  filter(has_diff)

方案2：data.table对比（超大型数据首选） #

data.table的操作速度远快于dplyr，适合百万级以上的数据集：

library(data.table)

# 转换为data.table格式
setDT(df1)
setDT(df2)

# 设置对比键
setkey(df1, ID1, ID2)
setkey(df2, ID1, ID2)

# 合并共有ID的数据，对比差异
matched_data <- df1[df2, nomatch = 0]
diff_columns <- setdiff(names(df1), c("ID1", "ID2"))

# 标记差异内容
matched_data[, (diff_columns) := Map(
  function(x, y) ifelse(x != y, paste(x, "vs", y), NA),
  .SD, df2[matched_data, ..diff_columns]
), .SDcols = diff_columns]

# 筛选有差异的行
diff_result <- matched_data[rowSums(!is.na(.SD)) > 0, .SD, .SDcols = c("ID1", "ID2", diff_columns)]

方案3：compare包对比（简洁的差异报告） #

如果能确保ID组合唯一，compare包可以生成结构化的差异报告：

library(compare)

# 确保数据无重复
df1_unique <- df1 %>% distinct(ID1, ID2, .keep_all = TRUE)
df2_unique <- df2 %>% distinct(ID1, ID2, .keep_all = TRUE)

# 执行对比
compare_result <- compare(df1_unique, df2_unique, by = c("ID1", "ID2"), allowAll = TRUE)

# 查看差异摘要
summary(compare_result)

关于semi_join的必要性 #

• 如果你的需求是只对比双方共有的ID组合，semi_join是必要的，能减少对比的数据量；
• 如果需要同时查看新增/删除的ID，应该用full_join替代semi_join，保留所有ID组合的信息。

内容的提问来源于stack exchange，提问作者Rara