读取大型Stata dta文件时出现解析失败、会话中止及内存分配错误

解决方案 #

• 修正内存限制配置
  R 3.6.x Windows版本的memory.limit()参数单位为MB，你设置的9999999900000数值远超过128GB对应的合法值（128GB = 131072MB），数值溢出会导致内存限制配置失效，改为执行以下代码即可：

memory.limit(size = 131072)

• 优化dta读取逻辑
  旧版本haven包对大体积压缩dta文件的内存优化较差，读取时会全量解压加载，压缩后2.4GB的dta文件实际加载到内存可能达到10GB以上，还可能存在内存泄漏问题导致会话崩溃，可按以下优先级优化：
  1. 读取时通过col_select参数指定仅加载需要的列，跳过无用字段，可大幅降低内存占用，示例代码：

  # 仅读取id、year、value三个需要的列，可替换为你实际需要的字段
  gwl <- read_dta("NewGWLfullcomp.dta", col_select = c(id, year, value))
  

  2. 升级haven包到适配R 3.6的最新版本，或替换为readstata13包读取dta文件，兼容性和内存表现更稳定。
  3. 若需要全量加载所有字段，可使用disk.frame包分块读取dta文件，无需将全量数据加载到内存即可完成后续处理。
• 排查路径与环境限制
  1. 你代码中设置的工作目录为C:/Users/ash/Desktop/GWL Ash，报错提示的文件路径为C:/Users/ash/Desktop/Ash GWL，路径存在不一致，且路径名包含空格，建议将文件移动到无空格的目录下读取，或传入完整绝对路径避免识别错误。
  2. 共享VPS可能存在进程内存配额限制，可在任务管理器中查看R进程崩溃时的内存占用值，若远低于128GB则为软件配置问题，若触及配额上限可联系服务商调整权限。

内容的提问来源于stack exchange，提问作者Ash S