在R中基于两列元素匹配列表创建数据框行筛选函数

数据准备 #

首先定义数据框s1：

s1=data.frame(no=c(1,2,3,4,5,6,7),col=c("red","green","blue","yellow","blue","black","white"),car_mod=c("car2","car4","car1","car5","car7","car3","car1"))

s1的结构如下：

no    col car_mod
1  1    red    car2
2  2  green    car4
3  3   blue    car1
4  4 yellow    car5
5  5   blue    car7
6  6  black    car3
7  7  white    car1

再定义列表l：

l=list(list(c("green","blue","red"),c("car1","car2","car5")))

l的结构如下：

[[1]]
[[1]][[1]]
[1] "green" "blue"  "red"  

[[1]][[2]]
[1] "car1" "car2" "car5"

需求说明 #

需要筛选出s1中同时满足以下两个条件的行：

• col列的元素存在于l[[1]][[1]]中
• car_mod列的元素存在于l[[1]][[2]]中

期望输出结果：

s_new=data.frame(no=c(1,3),col=c("red","blue"),car_mod=c("car2","car1"))

对应的结构：

no  col car_mod
1  1  red    car2
2  3 blue    car1

现有尝试问题 #

你写的循环代码在大数据量场景下效率极低，因为R的循环是逐行处理，面对大规模数据会非常慢；而且循环逻辑本身存在错误——l[1]取的是整个子列表而非目标向量，l[2]甚至超出了列表的索引范围（l仅包含1个元素），无法正确遍历筛选条件。

高效解决方案 #

方法1：基础R向量化操作 #

利用R的向量化特性直接筛选，这是处理大数据最快的方式之一：

# 提取筛选条件向量
col_filter <- l[[1]][[1]]
car_filter <- l[[1]][[2]]

# 生成同时满足两个条件的行索引
keep_rows <- s1$col %in% col_filter & s1$car_mod %in% car_filter

# 筛选得到结果
s_new <- s1[keep_rows, ]

方法2：dplyr包（适配复杂数据操作场景） #

如果平时常用tidyverse工具链，用dplyr的filter函数更直观，大数据量下效率同样出色：

library(dplyr)

s_new <- s1 %>%
  filter(col %in% l[[1]][[1]], car_mod %in% l[[1]][[2]])

两种方法均为批量处理数据，完全规避了循环的低效问题，适配大规模数据场景。

内容的提问来源于stack exchange，提问作者jerry1