如何高效对千级数据框列表执行半连接操作？

我需要对包含约1000个数据框的列表执行半连接操作，每个数据框有50000行数据，要基于另一个数据框筛选出行子集。

示例数据构造 #

df1 <- data.frame(id = 50:150)
set.seed(1)
l <- replicate(1000,
               data.frame(id = sample(1:100, 50000, replace = TRUE),
                          id2 = sample(letters, 50000, replace = TRUE),
                          info = runif(50000, 200, 300)),
               simplify = FALSE)

单数据框的筛选方法 #

目前我可以用两种方式实现单数据框的筛选：

1. dplyr半连接：

library(dplyr)
semi_join(l[[1]], df1, "id")

2. base R的%in%运算符：

l[[1]][l[[1]]$id %in% df1$id, ]

当前实现与性能瓶颈 #

我现在用lapply封装上述逻辑处理整个列表，但想寻找更高效的向量化解法：

lapply(l, \(x) semi_join(x, df1, "id"))

现有方案的基准测试结果（仅1次迭代）：

bc <- bench::mark(lapply(l, \(x) semi_join(x, df1, "id")),
                  lapply(l, \(x) x[x$id %in% df1$id, ]), iterations = 1, check = FALSE)

> bc
# A tibble: 2 × 13
#  expression                                            min  median itr/s…¹ mem_a…² gc/se…³ n_itr
#  <bch:expr>                                       <bch:tm> <bch:t>   <dbl> <bch:b>   <dbl> <int>
#1 lapply(l, function(x) semi_join(x, df1, "id"))    9.34s   9.34s  0.107   1.97GB   0.428     1
#2 lapply(l, function(x) x[x$id %in% df1$id, ])     14.19s  14.19s  0.0705   2.5GB   0.282     1

优化方案 #

1. 用data.table提升单数据框处理效率

data.table的底层实现更高效，尤其适合大数据量的筛选操作：

library(data.table)

# 预处理目标ID（提前去重，减少重复判断）
target_ids <- unique(df1$id)

# 将列表转成data.table格式
l_dt <- lapply(l, as.data.table)

# 两种高效筛选方式
# 方式1：利用%in%快速筛选
result_dt_in <- lapply(l_dt, function(x) x[id %in% target_ids])

# 方式2：data.table半连接语法
result_dt_semi <- lapply(l_dt, function(x) x[df1, on = "id", nomatch = 0L])

2. 合并后批量筛选再拆分（内存充足时首选）

把所有数据框合并成一个大表，一次性完成筛选后再拆分回列表，减少循环开销：

# 合并所有数据框，添加来源标识
combined_df <- bind_rows(l, .id = "source_df")

# 批量筛选
filtered_combined <- semi_join(combined_df, df1, by = "id")

# 拆分回列表并移除来源标识
result_list <- split(filtered_combined, filtered_combined$source_df)
result_list <- lapply(result_list, function(x) select(x, -source_df))

优化后的效果参考

通常情况下，合并筛选的方法会最快，data.table的方法次之，均显著优于原有的dplyr和base R循环方案。

内容的提问来源于stack exchange，提问作者Maël