部分R库新版本引发内存占用激增的原因排查求助
内存占用激增问题排查:R包版本差异导致的异常
这是之前R内存占用相关问题的后续,已确认问题根源在于部分R库的新版本。
我的R脚本负责合并十几个表格为一个大表(约1万行、2千列),导入的包如下:
library(argparse) library(dplyr) library(readr) library(readxl) library(stringr) library(tidyr) library(tibble)
良好环境(正常运行)
该环境下运行脚本无报错,耗时不到1分钟,内存占用约500MB,环境依赖配置:
name: env_good channels: - conda-forge - bioconda - defaults - r dependencies: - r-argparse=2.1.1 - r-base=4.1.1 - r-base64enc=0.1_3 - r-cpp11=0.3.1 - r-dplyr=1.0.7 - r-generics=0.1.0 - r-glue=1.4.2 - r-lifecycle=1.0.0 - r-magrittr=2.0.1 - r-pillar=1.6.2 - r-r6=2.5.1 - r-readr=2.0.1 - r-readxl=1.3.1 - r-rlang=0.4.11 - r-stringr=1.4.0 - r-tibble=3.1.4 - r-tidyr=1.1.3 - r-tidyselect=1.1.1 - r-vctrs=0.3.8 - r-vroom=1.5.5
异常环境(内存占用过高被终止)
该环境下运行脚本数分钟后,因内存占用过高被系统终止(活动监视器显示虚拟内存占用升至40GB),环境依赖配置:
name: env_bad channels: - conda-forge - bioconda - defaults - r dependencies: - r-argparse=2.1.1 - r-base=4.1.1 - r-base64enc=0.1_3 - r-cpp11=0.4.2 - r-dplyr=1.0.7 - r-generics=0.1.3 - r-glue=1.6.2 - r-lifecycle=1.0.1 - r-magrittr=2.0.3 - r-pillar=1.8.0 - r-r6=2.5.1 - r-readr=2.0.1 - r-readxl=1.3.1 - r-rlang=1.0.4 - r-stringr=1.4.0 - r-tibble=3.1.4 - r-tidyr=1.1.3 - r-tidyselect=1.1.2 - r-vctrs=0.4.1 - r-vroom=1.5.7
请问能否帮忙找出是哪个包的更新导致了该问题,以便我向包维护者反馈?
补充说明:使用系统为Mac OS Mojave,内存为16 GB 2133 MHz LPDDR3。
内容的提问来源于stack exchange,提问作者Durzot
相关产品推荐
相关产品推荐

