R语言如何加速向量setdiff()、intersect()、union()运算

你当前代码慢的核心原因有两个：一是三次独立Map调用会重复遍历每一对向量、重复构造哈希匹配表，存在大量冗余计算；二是基础R自带的setdiff/intersect/union是R层面实现，对长向量的处理效率偏低。

优化方案 #

1. 合并计算逻辑，消除冗余遍历 #

三类集合运算依赖的是同一套元素匹配结果，不需要分开三次计算。可以自定义计算函数，对每一对(V1,V2)只做一次去重、一次匹配，一次性输出三个结果，直接把遍历次数降到原来的1/3：

calc_set_ops <- function(v1, v2) {
  # 集合运算针对不重复元素，先去重减少后续计算量
  v1_u <- unique(v1)
  v2_u <- unique(v2)
  # 一次匹配得到V1元素是否存在于V2的布尔标记
  v1_match <- v1_u %in% v2_u
  diff_res <- v1_u[!v1_match]
  inter_res <- v1_u[v1_match]
  union_res <- c(inter_res, v2_u[!v2_u %in% inter_res])
  list(diff_V1_V2 = diff_res, intersect_V1_V2 = inter_res, union_V1_V2 = union_res)
}

# 单次Map即可生成三列结果
dt_new <- dt1[, c("diff_V1_V2", "intersect_V1_V2", "union_V1_V2") := 
              transpose(Map(calc_set_ops, V1, V2))]

2. 替换为C级高性能集合函数 #

基础R的匹配函数性能有限，可以替换为collapse包提供的C实现集合运算函数，对长度10w以上的向量，性能通常是基础R函数的5~10倍：

library(collapse)
# 直接替换原代码中的基础集合函数即可获得明显提速
dt_new <- dt1[, c("diff_V1_V2", "intersect_V1_V2", "union_V1_V2") := list(
  Map(fsetdiff, V1, V2),
  Map(fintersect, V1, V2),
  Map(funion, V1, V2)
)]

如果把上面的自定义calc_set_ops函数里的unique、%in%也替换为collapse::funique、collapse::%in%，性能还能进一步提升。

3. 并行化方案 #

该逐行运算完全没有行之间的依赖，天然支持并行，但注意：只有当单行向量长度极大、总行数较多时并行才有收益，如果单行计算量很小，并行的进程通信、数据拷贝开销反而会拖慢速度。
并行实现参考（适配Windows/Linux系统）：

library(parallel)
# 预留1个核心避免系统卡顿
cl <- makeCluster(detectCores() - 1)
# 把需要用到的对象、函数导出到并行集群
clusterExport(cl, c("dt1", "calc_set_ops"))
# 并行逐行计算
res <- parLapply(cl, seq_len(nrow(dt1)), function(i) {
  calc_set_ops(dt1$V1[[i]], dt1$V2[[i]])
})
# 关闭集群
stopCluster(cl)
# 结果写回原data.table
dt1[, c("diff_V1_V2", "intersect_V1_V2", "union_V1_V2") := transpose(res)]

优化优先级提示：优先使用「合并单次遍历+collapse高性能函数」的组合，绝大多数场景下可以把总耗时降到原代码的1/10以内，不需要额外启用并行。

内容的提问来源于stack exchange，提问作者red_quark