使用ranger训练随机森林时内存充足却报无法分配向量错误的原因

这问题我之前帮朋友排查过，你首先可能误解了memory.size()的含义——它返回的是当前R进程已经用掉的内存，不是剩余可用的！你的memory.limit()是20000MB（20GB），当前已用18785MB，算下来R实际只剩约1215MB可用，这远小于需要的5.8GB，这是最直接的原因！

除此之外，还有几个容易忽略的深层因素：

• 内存碎片化：就算剩余总内存够，Windows系统里如果没有一块连续的5.8GB内存块（被其他小进程拆成零散空间了），大向量也没法分配。
• ranger的峰值内存：报错里的5.8GB只是当前需要分配的向量大小，训练时还会产生临时变量、存储树节点信息，实际峰值内存需求会更高。
• 数据集隐性开销：如果你的数据里有超多水平的因子变量、未优化的数据类型（比如用numeric存整数），实际内存占用会比你预估的大很多。

解决办法，按优先级来： #

1. 先给R“瘦个身” #

立刻清理冗余对象，强制释放内存：

# 删除所有不需要的对象（注意提前保存重要内容！）
rm(list = ls())
# 强制垃圾回收，释放未使用的内存
gc()

运行后再看memory.size()，应该能腾出不少空间。

2. 给ranger“降配”减少内存占用 #

ranger有几个参数可以直接降低内存需求，牺牲一点训练速度换内存：

rf_fit <- train(as.factor(y_variable) ~ ., 
                data = training_set, 
                method = "ranger",
                # 开启内存优化模式，大幅降低内存使用
                save.memory = TRUE,
                # 减少线程数（多线程会额外增加内存开销）
                num.threads = 2,
                # 减少每棵树的样本采样比例
                sample.fraction = 0.7,
                # 减少每棵树随机选择的特征数（分类任务常用sqrt(特征数)作为参考）
                mtry = sqrt(ncol(training_set)-1))

3. 优化你的数据集 #

• 删掉没用的特征：比如方差几乎为0、和目标变量完全无关的列
• 转换数据类型：把大整数转成integer，把低频率的因子水平合并成“其他”类别
• 如果数据实在太大，试试用bigmemory包处理大数据，或者采用分块训练的方式

4. 给系统腾空间 #

• 关掉浏览器、视频软件这些占内存的程序，让R能拿到连续的内存块
• 调整Windows虚拟内存：把页面文件设大一点，物理内存不够时用硬盘补充（虽然速度会变慢，但能救急）

内容的提问来源于stack exchange，提问作者Mel