如何高效移除数据框中值全相同的列？（超10^8列场景）

嘿，对付10^8列这种量级的超大数据框，核心思路就是避开低效的逐列循环开销，尽量用底层优化的向量化操作，同时得盯着内存别爆了。结合你的示例数据（要移除第2、4列），我给你几个实战里验证过的高效方案：

1. Base R 纯原生实现（零依赖，快速上手） #

如果你不想装额外包，用vapply（比sapply快，因为提前指定了返回类型，省了类型推断的功夫）配合min/max判断是最优选择——毕竟min和max是C级别的底层实现，扫一遍列就出结果，比unique()高效太多（unique()得收集所有唯一值，完全没必要）。

代码直接能用：

# 你的示例数据
df <- data.frame(
  c(0, 0, 0, 0, 1),
  c(0, 0, 0, 0, 0),
  c(1, 1, 1, 0, 1),
  c(1, 1, 1, 1, 1)
)

# 生成保留列的逻辑标记：TRUE=保留（值不全相同）
keep_cols <- vapply(df, function(x) min(x) != max(x), logical(1))

# 筛选列，drop=FALSE避免意外转成向量
df_filtered <- df[, keep_cols, drop = FALSE]

跑完之后df_filtered就只剩下第1、3列，完美符合你的需求。

2. data.table 极致性能方案（超大规模首选） #

如果列数真的逼近10^8这个量级，data.table的C++底层优化能把速度拉满，而且内存管理更聪明，不会瞎做不必要的拷贝。

library(data.table)

# 转成data.table（这个转换本身也比as.data.frame快很多）
dt <- as.data.table(df)

# 计算每列是否需要保留
keep_cols <- unlist(dt[, lapply(.SD, function(x) min(x) != max(x))])

# 筛选列，..语法是data.table里取列向量的小技巧
dt_filtered <- dt[, ..keep_cols]

data.table的lapply比base R的快不少，处理百万级以上列的时候差异会特别明显。

3. 内存紧张？试试分块处理 #

要是你的数据框已经快把内存撑爆了，一次性处理所有列不太现实，可以拆成小块分批处理，最后再合并：

# 定义每次处理的列数，根据你内存情况调整，比如1e5列一批
chunk_size <- 1e5
total_cols <- ncol(df)
# 把列索引分成若干块
col_chunks <- split(seq_len(total_cols), ceiling(seq_len(total_cols)/chunk_size))

result_list <- list()

for (chunk in col_chunks) {
  # 处理当前块的列
  current_chunk <- df[, chunk, drop = FALSE]
  keep_chunk <- vapply(current_chunk, function(x) min(x) != max(x), logical(1))
  # 把筛选后的块存到列表里
  result_list[[length(result_list)+1]] <- current_chunk[, keep_chunk, drop = FALSE]
}

# 合并所有块得到最终结果
df_filtered <- do.call(cbind, result_list)

这种方法能把内存压力分散开，适合内存不够的场景。

几个关键坑要避开 #

• 别用unique()判断：length(unique(x)) == 1看着简单，但对于行数多的列，效率比min(x) == max(x)差远了——前者要收集所有唯一值，后者只扫一遍列就行。
• 优化数据类型：如果列是整数，就别转成字符型！数值型的min/max计算比字符型快N倍，能省不少时间。
• 别丢drop=FALSE：筛选列的时候一定要加这个参数，不然只剩一列的时候会被转成向量，坑死人。

内容的提问来源于stack exchange，提问作者Jack Arnestad