R加载大体积.RData文件报错error reading from connection解决方案咨询

解决方案 #

• 先校验文件完整性
  执行file.info("myfile.RData")$size确认文件大小和你当初保存的预期大小一致，若存在传输、备份过程中的文件损坏，会直接导致读取失败。如果是类Unix系统可以额外用md5 myfile.RData（macOS）或md5sum myfile.RData（Linux）和保存时记录的校验值比对，确认文件无损坏。
• 隔离加载环境避免冲突
  不要直接将文件加载到全局环境，先创建独立的空白环境加载，避免全局环境已有对象、预分配内存规则导致的读取异常：

  # 创建独立环境
  temp_env <- new.env()
  # 加载到独立环境
  load("myfile.RData", envir = temp_env)
  # 加载成功后可查看环境内的对象
  ls(temp_env)
  # 取出需要的对象到全局环境
  your_obj <- temp_env$your_object_name
  

• 手动指定压缩类型适配
  R的.RData默认会使用压缩存储，若自动识别压缩格式失败会触发连接报错，可手动指定压缩协议尝试读取：

  # 尝试gzip压缩
  con <- gzfile("myfile.RData", open = "rb")
  load(con)
  close(con)
  
  # 若失败尝试xz压缩
  con <- xzfile("myfile.RData", open = "rb")
  load(con)
  close(con)
  
  # 若失败尝试bzip2压缩
  con <- bzfile("myfile.RData", open = "rb")
  load(con)
  close(con)
  

• 用懒加载降低内存压力
  对于超大文件可以使用懒加载模式，不需要一次性将所有对象读入内存，访问对应对象时才会读取部分数据：

  # 生成懒加载数据库
  tools:::makeLazyLoadDB("myfile.RData", "lazy_db")
  # 加载懒加载数据库
  lazyLoad("lazy_db")
  

• 纯R环境加载降低额外内存占用
  如果你使用RStudio加载，可尝试关闭RStudio直接用系统命令行启动R加载，RStudio本身会占用数百MB内存，纯R环境可用内存更高。加载成功后建议将需要的单个对象单独存为RDS格式，后续读取稳定性更高：

  # 单个对象存为RDS
  saveRDS(your_obj, "your_obj.RDS")
  # 后续读取RDS
  your_obj <- readRDS("your_obj.RDS")
  

• 排查路径规则问题
  如果是Windows系统，确保文件路径全为英文、无空格和特殊符号，可将文件移动到磁盘根目录尝试加载，避免路径编码问题导致的连接读取失败。

内容的提问来源于stack exchange，提问作者MonJeanJean