R语言超大数据框删除NA行出现内存分配错误求解决方案

之前使用drop_na和subset报错的核心原因是这两个函数处理超大数据时会生成完整的临时数据副本，需要占用至少两倍于原数据的内存空间，超出可用内存阈值就会触发分配失败报错。
推荐使用内存占用更低、无冗余拷贝的data.table包处理，操作步骤如下：

• 安装并加载data.table包

# 未安装的情况下先执行安装
install.packages("data.table")
library(data.table)

• 将原data.frame转换为data.table格式（该操作为原地转换，几乎不会产生额外内存开销）

setDT(a)

• 筛选Codes列非NA的行

# 常规筛选写法
a <- a[!is.na(Codes), ]

# 内存极端紧张时可使用原地筛选，不需要额外赋值拷贝
a[!is.na(Codes), , keep.rownames = FALSE]

如果内存不足以一次性加载全量数据，可使用分块处理方案：

# 按每100万行拆分为一个分块，可根据实际内存调整块大小
chunk_size <- 1e6
total_rows <- nrow(a)
chunk_index <- rep(1:ceiling(total_rows/chunk_size), each = chunk_size, length.out = total_rows)
chunks <- split(a, chunk_index)

# 逐块筛选后合并结果
result <- data.table::rbindlist(lapply(chunks, function(chunk) chunk[!is.na(chunk$Codes), ]))

处理完成后如果需要转回普通data.frame格式，执行setDF(a)即可，结果和预期输出完全一致。

内容的提问来源于stack exchange，提问作者Muhammad