使用filter函数时出现“无法分配大小为...的向量”错误的解决方法

问题背景 #

需处理一个300MB的.rds纵向数据集，包含38万条观测、5160个变量，仅需2012年及以后的数据。加载数据后执行filter时触发错误：Error: Cant allocate vector of size 14,5gb，电脑配置16GB内存，同班同配置同学可正常运行。

用户原代码：

library(tidyr)
setwd("F:/data")
pl <- readRDS("pl.rds")

pl <- pl %>% filter (syear > 2012)
saveRDS(pl, file = "pl_2012.rds")

问题原因 #

1. 磁盘大小≠内存占用：.rds的磁盘大小不代表加载到R后的内存占用，5160个变量中可能存在大量高内存类型（如长字符向量、未压缩因子），加载后实际内存占用远高于300MB。
2. 操作顺序不合理：先筛选观测再剔除变量，保留了全部5160个变量进行处理，内存压力极大；filter执行时会生成临时对象，叠加原对象的内存占用，导致峰值突破16GB限制。
3. dplyr的临时对象开销：dplyr的管道操作在处理过程中会创建临时中间对象，未及时被垃圾回收，进一步加剧内存消耗。

解决方法 #

1. 调整操作顺序：先选变量再筛选观测 #

优先剔除不需要的变量，大幅降低内存占用后再筛选观测，从根源减少内存压力：

library(dplyr)
setwd("F:/data")

# 加载完整数据
pl <- readRDS("pl.rds")
# 仅保留年份变量和你实际需要的变量（替换为你的目标变量名）
pl <- pl %>% select(syear, target_var1, target_var2, target_var3)
# 筛选2012年后的数据
pl <- pl %>% filter(syear > 2012)
# 保存结果
saveRDS(pl, file = "pl_2012.rds")
# 手动触发垃圾回收释放内存
gc()

2. 使用data.table提升内存效率 #

data.table的操作更偏向原地修改，内存占用更低，适合处理大型数据集：

library(data.table)
setwd("F:/data")

# 将数据转换为data.table格式
pl <- as.data.table(readRDS("pl.rds"))
# 先选择目标变量，再筛选年份（data.table链式语法）
pl <- pl[, .(syear, target_var1, target_var2)][syear > 2012]
# 保存结果
saveRDS(pl, file = "pl_2012.rds")
gc()

3. 优化变量类型减少内存占用 #

检查并转换高内存变量类型，进一步压缩内存占用：

library(pryr)
setwd("F:/data")

pl <- readRDS("pl.rds")
# 查看整体内存占用
object_size(pl)
# 查看各变量类型
str(pl)

# 示例优化：将字符型变量转为因子（如果类别数量少）
pl$char_col <- as.factor(pl$char_col)
# 将整数型numeric变量转为integer类型
pl$int_col <- as.integer(pl$int_col)

# 再执行筛选和变量选择
pl <- pl %>% select(syear, target_vars) %>% filter(syear > 2012)
saveRDS(pl, file = "pl_2012.rds")
gc()

4. 清理内存并禁用自动保存 #

手动清理内存，同时关闭R的自动保存功能，减少后台内存消耗：

# 关闭自动保存
options(autosave = FALSE)
# 清理内存
gc()

# 再执行数据处理流程
pl <- readRDS("pl.rds") %>% select(...) %>% filter(...)
saveRDS(pl, "pl_2012.rds")

内容的提问来源于stack exchange，提问作者Moritary