left_join合并数据集行数异常问题及替代方案咨询

问题根源排查 #

你的合并结果多出1行，核心原因是数据集Y中存在重复的(id, year)组合——left_join会为每个匹配的重复项生成新行，导致X原本的15000行被扩展。即使存在大量NA，也可以用以下代码快速定位重复：

# 检测Y中是否存在重复的(id, year)键
anyDuplicated(Y[, c("id", "year")])
# 提取所有重复的键组合及对应数据
Y_duplicates <- Y %>%
  group_by(id, year) %>%
  filter(n() > 1) %>%
  ungroup()

保留X所有观测的替代合并方案 #

以下方法可确保合并后行数与X完全一致：

1. 先去重Y再合并
   如果Y的重复项是冗余数据，直接按(id, year)去重，保留每组第一条数据：

   Y_unique <- Y %>%
     distinct(id, year, .keep_all = TRUE)
   merged_data <- left_join(X, Y_unique, by = c("id", "year"))
   

   若Y中需要保留统计信息，可先聚合：

   Y_aggregated <- Y %>%
     group_by(id, year) %>%
     summarise(
       # 数值列取均值（可替换为sum/max等）
       across(where(is.numeric), ~mean(.x, na.rm = TRUE)),
       # 字符/因子列取第一个非NA值
       across(where(~!is.numeric(.x)), ~first(na.omit(.x)))
     ) %>%
     ungroup()
   merged_data <- left_join(X, Y_aggregated, by = c("id", "year"))
   

2. 嵌套Y的重复项
   若需要保留Y的所有重复信息但不想增加X行数，可将重复项嵌套为列表列：

   Y_nested <- Y %>%
     group_by(id, year) %>%
     nest() %>%
     ungroup()
   merged_data <- left_join(X, Y_nested, by = c("id", "year"))
   

   后续可通过unnest()按需展开处理嵌套数据。

结果验证 #

合并后务必验证行数一致性：

# 强制检查合并后行数与X完全一致
stopifnot(nrow(merged_data) == nrow(X))

关于回归结果变化的说明 #

合并后行数增加会改变观测的数量或权重（即使未直接使用Y的变量），导致回归结果偏移。解决行数异常后，回归结果应恢复与合并前一致。

内容的提问来源于stack exchange，提问作者Maximilian