PyCharm中R会话内存充足却运行缓慢的原因排查

问题背景 #

运行以下R代码后，会话异常缓慢，简单操作（如打印字符串）需10-15秒：

cur_data <- readRDS("./TCGA-LUAD.rds")

mRNA <- cur_data$mRNAUnstranded
clinical <- cur_data$clinical
mRNATPM <- cur_data$mRNATPM
miRNA <- cur_data$miRNA
cnv <- cur_data$cnv
methyl <- cur_data$meth450

rm(cur_data)
gc()

已排查信息 #

1. 对象内存占用 #

> object.size(cur_data)
3654078952 bytes
> object.size(cnv)
99061912 bytes
> object.size(methyl)
1826984576 bytes
> object.size(miRNA)
9215840 bytes
> object.size(mRNA)
166234336 bytes
> object.size(mRNATPM)
305757664 bytes

2. R会话内存变化 #

library(pryr)
library(ps)

# 加载前内存检查
cat("Memory before loading data: \n")
print(mem_used())
print(ps::ps_memory_info())

cur_data <- readRDS("./TCGA-LUAD.rds")

# 加载后内存检查
cat("Memory after loading data: \n")
print(mem_used())
print(ps::ps_memory_info())

输出：

Memory before loading data:
70.4 MB

        rss         vms      shared        text         lib        data 
  151760896 19957977088    27262976    11669504           0 18425253888 
      dirty 
          0 


Memory after loading data:
3.58 GB
        rss         vms      shared        text         lib        data 
 3647713280 23454457856    27262976    11669504           0 21921734656 
      dirty 
          0 

3. 服务器整体内存状态 #

system("free -b", intern = TRUE)

返回：

[[1]]
[1] "               total        used        free      shared  buff/cache   available"

[[2]]
[1] "Mem:     270086418432 19110584320 212453797888     1396736 38522036224 248626864128"

[[3]]
[1] "Swap:    262143995904 22240501760 239903494144"

4. 环境说明 #

通过PyCharm（JetBrains Client）SSH连接远程服务器运行R，CPU使用率存在异常波动。

可能原因 #

• 远程交互开销：JetBrains Client的SSH传输会增加R输出的延迟，尤其是IDE自动预览大对象时，大量数据的网络传输会拖慢交互速度。
• 内存碎片化：拆分列表对象后，原生数据框/矩阵的内存布局可能产生碎片，gc()默认回收不彻底，导致后续内存分配效率下降。
• CPU资源竞争：服务器上可能存在其他高负载进程，抢占了R会话的CPU资源，导致操作卡顿。
• IDE插件额外负载：PyCharm的R插件后台自动解析、预览大对象（如1.8GB的methyl矩阵），会占用大量CPU和内存资源。

解决思路 #

1. 优化远程交互体验 #

• 关闭PyCharm中R对象的自动预览功能（在插件设置中禁用大对象实时加载）。
• 改用终端直接SSH连接服务器运行R脚本，排除IDE插件的额外开销，验证卡顿是否由IDE导致。

2. 优化内存与对象结构 #

• 按需加载处理：避免一次性拆分所有对象，完成部分分析后立即释放对应内存，再加载下一部分数据。
• 改用data.table存储大对象：其紧凑的内存布局可减少碎片化，提升操作效率：

  library(data.table)
  methyl <- as.data.table(methyl)
  mRNA <- as.data.table(mRNA)
  

• 强制完全垃圾回收：运行gc(full = TRUE)，更彻底清理内存碎片。

3. 排查服务器资源 #

• 用top/htop命令检查服务器CPU占用，终止或调度高负载进程，确保R获得足够CPU资源。
• 调整swap策略：当前swap已使用22GB，虽然内存充足，但swap调度可能拖慢R速度，可临时降低swap优先级或关闭swap（仅在内存充足时操作）。

4. 优化数据加载逻辑 #

• 拆分RDS文件：将cur_data拆分为多个独立的RDS文件，按需加载单个对象，避免一次性加载大文件。
• 使用磁盘-backed对象：用bigmemory包的filebacked.big.matrix存储超大矩阵，将部分数据放在磁盘，减少内存压力。

内容的提问来源于stack exchange，提问作者ZMG