如何加速基于多条件匹配两个DataFrame的嵌套循环？

你的嵌套循环效率低主要有两个原因：一是**O(n*m)**的时间复杂度（n和m分别是两个DataFrame的行数），二是每次rbind都会重新创建数据框，频繁复制内存。下面提供两种高效的替代方案，结果和原代码完全一致，但速度能提升几个数量级。

方案一：用dplyr做交叉连接+过滤 #

利用dplyr的向量化操作，先生成所有行的组合，再一次性过滤符合条件的记录：

library(dplyr)

DF3_dplyr <- DF1 %>%
  # 生成两个DataFrame的所有行组合
  cross_join(DF2) %>%
  # 同时应用三个匹配条件
  filter(
    grepl(sort, location),
    between(start, Date1, Date2),
    (word1.x == 1 & word1.y == 1) | (word2.x == 1 & word2.y == 1)
  ) %>%
  # 只保留需要的字段
  select(name, ID)

# 输出结果，和原代码一致
print(DF3_dplyr)

方案二：用data.table做非等值连接（超大数据集首选） #

data.table的非等值连接对内存和速度的优化更极致，适合处理百万级以上的数据集：

library(data.table)

# 转换为data.table格式（操作更高效）
setDT(DF1)
setDT(DF2)

DF3_dt <- DF2[DF1, 
              # 按日期区间做非等值连接
              on = .(start >= Date1, start <= Date2),
              # 允许一对多的匹配（避免报错）
              allow.cartesian = TRUE][
                # 过滤字符串匹配和word条件
                grepl(i.sort, location) & ((word1 == 1 & i.word1 == 1) | (word2 == 1 & i.word2 == 1)),
                # 提取需要的字段
                .(name = i.name, ID = ID)]

# 输出结果
print(DF3_dt)

额外优化建议 #

如果sort和location的匹配规则固定，可以预先提取location中的关键词，把模糊匹配转为精确匹配，进一步提升速度：

library(stringr)

# 从location中提取DF1里的sort关键词
DF2$sort_key <- str_extract(DF2$location, paste(unique(DF1$sort), collapse = "|"))

# 之后可以用sort_key和DF1的sort做等值连接，再过滤其他条件
DF3_optimized <- DF1 %>%
  inner_join(DF2, by = c("sort" = "sort_key")) %>%
  filter(
    between(start, Date1, Date2),
    (word1.x == 1 & word1.y == 1) | (word2.x == 1 & word2.y == 1)
  ) %>%
  select(name, ID)

内容的提问来源于stack exchange，提问作者Snappy_DataSci