使用fread()加载22GB CSV占用60GB内存，合并时RStudio崩溃求助

• 默认数据类型推断导致内存膨胀：fread()默认会将字符串列推断为character类型，R中character每个元素都存储独立的指针与字符串内容，若存在大量重复字符串，内存占用会远高于使用factor类型；另外，数值列默认推断为double（8字节），如果实际是整数数据，换成integer（4字节）可直接减半内存占用。
• 文本转原生类型的体积膨胀：CSV是纯文本格式，比如数字在文本中是字符序列，加载到R中转为原生数值类型后，加上R对象的额外存储开销，整体体积会比原CSV文件大很多，22GB的CSV膨胀到近60GB是常见情况。
• 临时解析缓存：fread()在解析过程中会生成一些临时数据结构辅助推断类型，虽然是脚本第一个操作，但这部分临时内存也会占用一定空间，不过核心还是数据本身的内存开销。

优化数据加载 #

• 手动指定列类型：用colClasses参数明确指定每列的类型，比如：

  dt <- fread("your_file.csv", colClasses = list(factor = c("category_col1", "category_col2"), 
                                                 integer = c("int_col1", "int_col2"),
                                                 Date = "date_col"))
  

  把重复率高的字符串列设为factor，整数类列设为integer，日期列直接指定为Date，避免默认推断带来的内存浪费。
• 只加载需要的列：如果合并仅需部分列，用select参数指定列名，减少加载的数据量：

  dt <- fread("your_file.csv", select = c("join_key", "col_needed1", "col_needed2"))
  

• 分块加载处理：如果不需要全量数据在内存中，用nrows和skip分块读取，逐块处理后再合并结果，但这种方式适合不需要全量连接的场景。

使用内存高效的工具与结构 #

• 切换到vroom或arrow包：vroom采用延迟加载机制，内存占用远低于fread()；arrow可以先将CSV转为列式存储的feather或parquet格式，再加载，这类格式本身更节省内存，且解析更快。
• 利用data.table的内存优化：data.table本身比普通data.frame内存占用更低，后续合并时直接用data.table的merge()函数，它会自动优化连接过程，比base R的merge()更省内存。

离线合并（超大数据场景） #

如果数据量远超内存，建议用数据库方式处理：

• 将两个表导入duckdb或SQLite（无需单独安装数据库服务），用SQL语句执行合并操作，只将最终结果加载到内存：

  library(duckdb)
  con <- dbConnect(duckdb())
  dbWriteTable(con, "table1", fread("large_file.csv", colClasses = ...))
  dbWriteTable(con, "table2", fread("other_file.csv"))
  merged_dt <- dbGetQuery(con, "SELECT * FROM table1 JOIN table2 ON table1.join_key = table2.join_key")
  dbDisconnect(con)
  

内容的提问来源于stack exchange，提问作者Marti