R语言循环导出超大数据集内存不足、导出异常问题排查

• 内存溢出：R的垃圾回收默认是延迟触发，循环中删除大对象后不会立刻把内存返还给操作系统，多轮循环后残留内存堆积就会触发OOM。另外如果用基础data.frame存储3亿行数据，内存开销比data.table高30%以上，会进一步放大内存压力。
• fwrite导出空csv：一是大概率没有指定完整的输出文件路径，写入时生成了临时空文件，用Excel打开时自动新建了名为Book1的空表兜底；二是3亿行规模下默认写入缓冲区占内存过高，写入中途内存溢出，文件只生成了0字节的空壳；三是Excel单表最大仅支持1048576行，3亿行远超软件承载上限，哪怕文件写入正常，用Excel打开也会显示空白。
• write.dta导出损坏dta：foreign包的write.dta最高仅支持Stata 12及以下版本的旧dta格式，旧格式不仅有单文件2GB大小限制，写入时不会做分块处理，3亿行数据写入中途内存崩溃就会生成截断的损坏文件，无法被Stata识别。

内存优化 #

每次循环完成导出、删除大对象后，强制触发全量垃圾回收，把内存直接还给操作系统，再进入下一轮循环：

# 假设当前生成的大对象名为large_dt
rm(large_dt)
gc(full = TRUE) # 必须加full=TRUE参数才会释放内存给系统

全程用data.table结构存储和处理数据，不要转成基础data.frame或tibble，能减少至少1/3的内存占用。

csv导出修复 #

用最新版data.table::fwrite，显式指定完整输出路径，调低写入缓冲区大小，多线程分块写入，避免写入中途内存溢出：

library(data.table)
fwrite(
  x = large_dt,
  file = "/your/full/output/path/part_1.csv", # 写完整绝对路径，不要只写文件名
  nThread = max(1, parallel::detectCores() - 1), # 留1个核心给系统进程
  buffMB = 100, # 写入缓冲区设为100MB，默认1000MB占内存过高
  showProgress = TRUE,
  compress = "none" # 关闭实时压缩，降低写入时的内存开销
)

验证csv文件是否正常不要用Excel，直接用命令行执行head -n 10 /your/full/output/path/part_1.csv查看前10行，或者在R里用fread(file, nrows = 10)读取前10行校验即可。

dta导出修复 #

弃用foreign包，改用haven包的write_dta函数，支持Stata 15+版本的新dta格式，原生支持大文件分块写入，没有旧格式2GB单文件限制：

library(haven)
write_dta(
  data = large_dt,
  path = "/your/full/output/path/part_1.dta",
  version = 15, # 选15及以上版本，支持单文件超20亿观测
  compress = "lz4" # 用轻量压缩减小文件体积，额外内存开销极低
)

如果单文件体积还是过大，建议在构造数据阶段就按业务维度（比如日期、ID哈希值）拆分为多个千万行级的小文件，既能避免写入中途失败导致的文件损坏，后续用Stata或R处理时也不会触发内存瓶颈。

内容的提问来源于stack exchange，提问作者PaulaSpinola