如何应用自定义区间匹配规则合并R中两个面板结构数据集

前置预处理 #

首先需要将所有日期类字段从字符串转换为Date类型，避免后续区间判断出错：

library(tidyverse)
# 转换左表日期
toy.left <- toy.left %>% mutate(month = as.Date(month))
# 转换右表日期
toy.right <- toy.right %>% 
  mutate(
    tenure.start = as.Date(tenure.start),
    tenure.end = as.Date(tenure.end)
  )

方案1：dplyr 非等值连接（tidyverse生态） #

dplyr 1.1.0及以上版本原生支持非等值连接，直接在join_by中定义区间匹配规则即可，语法友好，足够处理150万行级别的数据：

# 如果dplyr版本低于1.1.0，先运行 install.packages("dplyr") 升级
res <- toy.left %>%
  inner_join(
    toy.right,
    join_by(
      name == name,
      coord == coord,
      month >= tenure.start,
      month <= tenure.end
    )
  )

运行后输出符合要求的结果：

# A tibble: 4 × 5
  month      coord name    tenure.start tenure.end
  <date>     <dbl> <chr>   <date>       <date>    
1 2000-03-01  1301 Beta    1999-11-01   2000-04-01
2 2000-06-01  1302 Charlie 2000-04-01   2000-07-01
3 2000-09-01  1303 Delta   2000-08-01   2000-10-01
4 2000-12-01  1303 Epsilon 2000-11-01   2001-01-01

不符合区间规则的行（如Alpha的2000-01观测、Delta的2002-2004任期）会被自动过滤，不会出现重复行问题。 #

方案2：data.table 非等值连接（极致性能） #

如果追求极致的处理速度，推荐使用data.table的非等值连接，处理百万级数据速度比tidyverse方案快3-10倍：

library(data.table)
# 转换为data.table格式
setDT(toy.left)
setDT(toy.right)
# 执行非等值连接，nomatch=NULL对应inner join逻辑，不保留未匹配的行
res_dt <- toy.right[toy.left, 
                    on = .(name, coord, tenure.start <= month, tenure.end >= month),
                    nomatch = NULL]
# 调整列名和顺序适配需求
setnames(res_dt, old = c("tenure.start", "i.tenure.start"), new = c("month", "tenure.start"))
res_dt <- res_dt[, .(month, coord, name, tenure.start, tenure.end)]

注意事项 #

• 若需要保留左表全部观测（未匹配到任期的行保留空值），将inner_join替换为left_join，或去掉data.table代码中的nomatch = NULL参数即可
• 若存在单个观测匹配到多个有效任期的场景，会自动生成多行，可按需添加distinct()去重
• 所有日期字段必须提前转换为Date类型，禁止直接用字符串做区间比较，避免格式不匹配导致的逻辑错误

内容的提问来源于stack exchange，提问作者cerny