Windows系统处理大型数据集出现R session aborted报错如何解决？

1. 分块迭代合并，避免全量载入内存 #

R会话崩溃大概率是内存不足触发的，不要一次性把所有年份的数据库全部读入内存，改为单次仅读取1份文件、处理完直接追加写入目标文件，全程仅保留单份数据占用内存：

• 优先用arrow包替代旧版feather包，目前feather格式已合并到arrow项目维护，兼容性、性能更好，且原生支持追加写入
• 参考执行代码：

library(arrow)
library(dplyr)

# 替换为你自己的文件目录和匹配规则
file_paths <- list.files("你的数据库存放路径", pattern = "你的文件后缀/命名规则", full.names = TRUE)

for (i in seq_along(file_paths)) {
  # 单次仅加载1份数据，原文件为其他格式的话替换为对应读取函数即可，比如read_dta、read.csv等
  current_df <- read_rds(file_paths[i])
  # 第一份数据直接写入目标文件，后续数据追加写入
  if (i == 1) {
    write_feather(current_df, "merged_total.feather")
  } else {
    write_feather(current_df, "merged_total.feather", append = TRUE)
  }
  # 处理完立刻清理当前数据、释放内存
  rm(current_df)
  gc()
}

2. 提前裁剪冗余数据 #

读取单份文件时就删除不需要的内容，不要带进合并流程：

• 读取时用col_select参数仅保留需要的字段，比如read_rds(path, col_select = c(id, date, target_value))，字段数量减少能直接大幅降低内存占用
• 提前过滤掉缺失值过多、不符合分析要求的无效行

3. 校验字段一致性 #

不同年份的数据库如果同名字段的类型、长度不一致，合并时也可能触发底层报错导致会话崩溃：

• 遍历文件时先校验所有文件的字段名、字段类型，统一格式后再写入，比如把所有字符型字段统一转成UTF-8编码，数值型字段统一为double类型

4. 调整R内存限制（Windows环境适用） #

Windows系统下R默认的内存上限可能偏低，可手动调整：

# 查看当前内存上限，单位为MB
memory.limit()
# 调整为更大的数值，比如32G就设为32768，根据你设备的实际内存设置
memory.limit(size = 32768)

5. 更换64位R环境 #

如果当前使用的是32位版本R，最大仅支持4G内存，直接更换为64位R即可解决大部分内存不足导致的崩溃问题。

内容的提问来源于stack exchange，提问作者user16019366