R data.table：如何实现基于部分字符串匹配的表左连接

针对你30万行table_1+2000行table_2的场景，直接用str_detect做全量匹配会因笛卡尔积导致性能爆炸，下面是分阶段缩小范围的高效实现方案：

步骤1：转成data.table格式 #

先把两个数据框转换为data.table，开启高效操作模式：

library(data.table)
setDT(table_1)
setDT(table_2)

步骤2：通过日期区间筛选候选匹配集 #

先利用data.table的非等值连接，把table_1中日期落在table_2区间内的记录先筛选出来，这一步能大幅压缩后续需要做字符串匹配的行数：

# 非等值连接获取日期符合条件的候选对
candidates <- table_1[table_2, 
                      on = .(date >= date_start, date <= date_end), 
                      allow.cartesian = TRUE,
                      # 按需保留字段，x.代表table_1字段，i.代表table_2字段
                      .(name_full = x.name_full, 
                        date = x.date, 
                        name_first = i.name_first, 
                        name_last = i.name_last,
                        table1_cols = x,  # 保留table_1全部字段
                        table2_cols = i)] # 保留table_2全部字段

allow.cartesian = TRUE用于允许一个table_1行对应多个table_2行的情况，根据你的数据实际情况开启。

步骤3：过滤姓名模糊匹配的结果 #

在候选集上做字符串匹配，因为已经缩小了范围，这一步的速度会比全量匹配快很多：

# 用str_detect校验姓名条件
library(stringr)
matched <- candidates[str_detect(name_full, name_first) & str_detect(name_full, name_last)]

如果姓名是固定字符串（不需要正则匹配），推荐用stringi::stri_detect_fixed，速度比str_detect快数倍：

library(stringi)
matched <- candidates[stri_detect_fixed(name_full, name_first) & stri_detect_fixed(name_full, name_last)]

步骤4：生成最终左连接结果 #

如果需要保留table_1中所有未匹配的记录，给table_1加唯一标识后做左连接：

# 给table_1生成唯一id（已有唯一键可跳过）
table_1[, row_id := .I]
# 把匹配结果关联回原table_1的row_id
matched[, row_id := table_1[.(name_full, date), on = .(name_full, date), row_id]]
# 左连接保留所有table_1记录
final_result <- table_1[matched, on = .(row_id), nomatch = NA]

额外性能优化点 #

1. 给table_2的日期字段加索引，加速区间匹配：

setkey(table_2, date_start, date_end)

2. 对table_2去重，减少重复匹配：

table_2_unique <- unique(table_2, by = c("name_first", "name_last", "date_start", "date_end"))

用去重后的table_2_unique替代原table_2做后续操作，能减少无效匹配次数。

内容的提问来源于stack exchange，提问作者zoowalk