如何用dplyr高效筛选同时含两组的cluster对应的data.frame行

嘿，你原来的循环方法慢是因为每次循环都要对整个数据集做filter，数据量大的时候重复扫描太耗时间了！这里有两个更高效的dplyr实现方式，比你原来的方法快得多：

方法1：分组后直接筛选（最简洁） #

这种方式只需要一次分组和筛选，全程只扫一遍数据集：

library(dplyr)

set.seed(1)
df <- data.frame(cluster=letters[sample(length(letters),1000,replace=T)], 
                 group=LETTERS[1:2][sample(2,1000,replace=T)], 
                 id=1:1000)

df_filtered <- df %>%
  group_by(cluster) %>%
  # 筛选出包含2种不同group的cluster组
  filter(n_distinct(group) == 2) %>%
  ungroup()

原理很简单：按cluster分组后，用n_distinct(group)统计每个组内的group数量，只保留数量等于2的组的所有行，最后取消分组即可。

方法2：先获取有效cluster再关联（内存友好） #

如果你的数据集特别大，这种方法先提取符合条件的cluster列表，再通过semi_join匹配，内存占用会更低：

# 第一步：找出所有同时包含两个group的cluster
valid_clusters <- df %>%
  group_by(cluster) %>%
  summarise(has_both = n_distinct(group) == 2) %>%
  filter(has_both) %>%
  pull(cluster) # 提取为向量

# 第二步：只保留df中属于有效cluster的行
df_filtered <- df %>%
  semi_join(tibble(cluster = valid_clusters), by = "cluster")

semi_join只会保留左表（df）中与右表匹配的行，不会增加额外列，比普通的join更高效。

为什么原来的方法慢？ #

你原来的lapply循环里，每个cluster都要执行一次filter(df, cluster == l)，相当于对整个数据集扫描了length(unique(df$cluster))次，数据量越大，重复扫描的开销就越大。而上面的两种方法都是线性扫描（只扫1-2次），时间复杂度从O(n*k)降到了O(n)，速度提升非常明显。

内容的提问来源于stack exchange，提问作者dan