如何批量过滤data.table？列数过多无法逐个指定条件

我有一个约750列的data.table，所有值均为字符型，其中"--"用于替代NA。需要删除任意一列中包含"--"的行，但列名复杂且数量多，无法逐个列编写filter(id1 != "--" & id2 != "--")这类条件。示例数据集如下：

library(tidyverse)
library(data.table)

snp <- c(1:5)
id1 <- c("AA", "AB", "BB", "--", "AA")
id2 <- c(rep("AA", 5))
id3 <- c("BB", "AB", "--", "AA", "AA")

data1 <- as.data.table(cbind(snp, id1, id2, id3))
data1

针对data.table的特性，这里提供几种高效的批量过滤方案，无需手动枚举列名：

方法1：利用rowSums快速筛选 #

通过生成逻辑矩阵统计每行的"--"数量，直接保留无"--"的行：

# 保留所有列都不含"--"的行
data1_filtered <- data1[rowSums(data1 == "--") == 0]

• 原理：data1 == "--"会生成一个与原表尺寸一致的逻辑矩阵，rowSums统计每行中TRUE（即存在"--"）的数量，等于0的行就是符合要求的行。

方法2：用Reduce合并逐列条件 #

通过遍历列生成逻辑向量，再合并为全局筛选条件：

# 生成所有列不等于"--"的条件，再合并为统一筛选逻辑
filter_logic <- Reduce(`&`, lapply(data1, function(col) col != "--"))
data1_filtered <- data1[filter_logic]

• 原理：lapply遍历每一列，生成该列所有值不等于"--"的逻辑向量；Reduce用&将所有逻辑向量逐行合并，最终得到每行是否所有列都符合要求的结果。

方法3：指定需检查的列（可选） #

如果存在不需要检查的列（比如示例中的snp列），可以先排除这些列再过滤：

# 定义需要检查的列（排除snp列）
check_cols <- setdiff(names(data1), "snp")
# 仅在指定列中检查"--"
data1_filtered <- data1[rowSums(data1[, ..check_cols] == "--") == 0]

• 原理：..check_cols是data.table特有的语法，用于引用外部定义的列名向量，只对指定列进行检查，提升效率。

以上方法均为批量操作，适配750列的大表场景，且data.table的底层优化能保证处理效率。

内容的提问来源于stack exchange，提问作者Scott Hebert