在集群Anaconda环境运行R时遇内存分配错误求助

首先先明确一个关键点：在Linux系统上，memory.limit()返回Inf是正常行为——这个函数主要是为Windows系统设计的，Linux下R会自动使用系统允许的最大内存，所以这个结果不用纠结。你碰到的问题本质是当前系统可用内存不足以支撑你的分析所需的26.7G内存，下面是具体的排查和解决步骤：

1. 先确认节点的实际内存状态 #

先退出R会话，在SSH终端里运行以下命令查看节点的内存使用情况：

free -h

或者用top动态监控内存占用。重点看available列的数值——如果这个数值远小于26.7G，说明节点的物理内存本身不够，或者已经被其他进程占用了大部分。

如果是其他进程占用了内存，可以联系集群管理员清理，或者申请一个空闲的、内存更大的节点来运行你的分析。

2. 优化R代码的内存使用 #

如果节点本身有足够内存（比如64G以上），那大概率是你的代码内存效率太低，试试这些优化点：

• 分块处理数据：不要一次性加载整个数据集，用data.table::fread()配合skip/nrows参数分批读取处理，或者用readr::read_csv_chunked()实现分块分析，避免把所有数据都放在内存里。
• 及时清理冗余对象：用rm(不需要的变量名)删除不用的中间对象，然后运行gc()手动触发垃圾回收，释放内存。比如处理完一个大矩阵后，立刻删掉它再回收。
• 替换低效数据结构：把普通的data.frame换成data.table或者tibble，它们的内存效率更高；如果是矩阵运算，看看能不能用稀疏矩阵（比如Matrix包的dgCMatrix类型）代替稠密矩阵，能节省几倍甚至几十倍的内存。
• 检查重复计算或复制：看看代码里有没有不小心把大对象复制了多份（比如x <- y这种不必要的赋值），或者有没有重复计算同一个结果的情况，这些都会额外占用内存。

3. 调整BLAS/LAPACK的线程设置 #

你当前用的是OpenBLAS（从sessionInfo里的BLAS/LAPACK: /home/user/miniconda3/envs/py37/lib/libopenblasp-r0.3.7.so可以看出来），它默认会启用多线程，但多线程有时候会导致内存占用激增（尤其是在和R的并行包一起使用时）。

可以在启动R之前，先设置环境变量限制OpenBLAS的线程数：

export OMP_NUM_THREADS=4

（线程数可以根据你的需求调整，比如设为4或者8，不要超过节点的核心数，避免过度并行导致内存爆炸）

然后再启动R运行你的分析，看看内存占用会不会降低。

4. 排查大内存对象 #

如果不确定是哪个对象占用了内存，可以在R会话里安装pryr包，然后运行：

install.packages("pryr")
library(pryr)
mem_used()  # 查看当前R会话总内存占用
object.size(你的大对象名)  # 查看单个对象的内存大小

这样能快速定位到内存占用大户，针对性地优化它。

内容的提问来源于stack exchange，提问作者NewUsr_stat