使用R base merge合并数据集后行数异常增加的问题求助

核心原因推测 #

merge函数会根据id的值进行匹配，而非按行位置对应。如果id在dataset1或dataset2中存在重复值，相同id的行会两两匹配生成笛卡尔积，直接导致总行数增加。比如某id在两个数据集各出现2次，merge后会生成4行记录。

排查步骤 #

1. 检查原始数据的id重复情况
   先确认原始数据本身是否存在重复id：

   # 统计重复id的数量
   sum(duplicated(originaldata$id))
   # 查看具体重复的id及其出现次数
   table(originaldata$id)[table(originaldata$id) > 1]
   

2. 验证子数据集的id一致性
   确认dataset1和dataset2的id是否在处理过程中新增了重复：

   sum(duplicated(dataset1$id))
   sum(duplicated(dataset2$id))
   

解决办法 #

• 若id应唯一：先定位重复id的来源，删除重复行或合并重复记录，确保每个id仅对应一条观测后再执行merge。
• 若需按原始行顺序合并：由于dataset1和dataset2行数一致且id来自同一数据源，直接使用cbind替代merge更合适（前提是两个数据集的行顺序完全对应）：

  newdata <- cbind(dataset1, dataset2[, !names(dataset2) %in% "id"])
  

  或者用merge时指定只保留dataset1的所有行并按匹配关系去重（需确保每个id在两个数据集中出现次数一致）：

  newdata <- merge(dataset1, dataset2, by = "id", all.x = TRUE)
  

内容的提问来源于stack exchange，提问作者nhedzll