如何高效筛选数据集：替代循环实现位置与区间匹配加速

数据集 #

我有两个数据集：一个名为positionchr的位置向量，另一个名为interactionregion的数据框，具体数据如下：

# positionchr 向量
dput(positionchr[1:])
c(71526L,124659L, 144370L, 125121L)

# interactionregion 数据框（取前5行的第3-4列）
dput(interactionregion[1:5,3:4])
structure(list(rf1 = c(40000L, 80000L, 120000L, 499336L, 459336L
), rt1 = c(80000L, 120000L, 160000L, 501617L, 499336L)), row.names = c(NA,
5L), class = "data.frame")

现有低效实现 #

我需要检查positionchr中的每个值是否处于interactionregion的rf1与rt1构成的区间内，目前用循环实现，但数据量大时运行效率极低：

pos <- positionchr$pos
# 创建空数据框用于存储匹配结果
selected_region <- data.frame() 

for(j in 1:length(pos)){ 
  positionval <- pos[j]
  # 筛选匹配当前位置的区间，并添加位置索引
  value <- interactionregion  %>% 
    filter(positionval >= rf1 & positionval <= rt1) %>% 
    mutate(positionused=j)
  # 拼接结果
  selected_region <- rbind(selected_region, value) 
}

预期输出 #

最终结果需要包含匹配的rf1、rt1列，以及对应的位置值，示例如下：

# 示例输出：位置124659落在第3行的区间内
final data:
    rf1    rt1  snpused
120000 160000 124659

优化方案 #

循环效率低的核心原因是每次rbind都会复制整个数据框，数据量越大开销越高；同时逐行处理的方式没有利用向量化运算的优势。以下是两种高效的优化方法：

方法1：使用fuzzyjoin包（简洁易读） #

fuzzyjoin专门处理模糊匹配/区间匹配，底层用向量化运算，速度远快于循环：

首先安装并加载包：

install.packages("fuzzyjoin")
library(fuzzyjoin)
library(dplyr)

然后执行匹配：

# 先把positionchr转为数据框，方便匹配
pos_df <- data.frame(snpused = positionchr)

# 执行区间模糊匹配
selected_region <- fuzzy_inner_join(
  pos_df,
  interactionregion,
  by = c("snpused" = "rf1", "snpused" = "rt1"),
  match_fun = list(`>=`, `<=`)
) %>%
  select(rf1, rt1, snpused) # 保留需要的列

方法2：使用data.table（大数据场景最优） #

data.table的滚动连接和向量化操作在处理百万级以上数据时性能优势明显：

首先安装并加载包：

install.packages("data.table")
library(data.table)

转换为data.table格式后执行匹配：

# 转换数据格式
setDT(interactionregion)
pos_dt <- data.table(snpused = positionchr)

# 对interactionregion按rf1排序（滚动连接需要有序键）
setorder(interactionregion, rf1)

# 滚动连接找到每个位置对应的可能区间，再筛选符合rt1条件的结果
selected_region <- pos_dt[
  interactionregion,
  on = .(snpused >= rf1),
  .(snpused, rf1, rt1 = i.rt1),
  allow.cartesian = TRUE
][snpused <= rt1] %>%
  select(rf1, rt1, snpused)

这两种方法都能避免循环和重复复制数据框的问题，在大数据量下速度提升显著。

内容的提问来源于stack exchange，提问作者Rhea Bedi