R语言中转换数据框列至低内存类型（无损失）及大数据集处理建议

一、类似Stata compress的R工具 #

R里有不少工具可以自动将数据框列转换为内存效率更高的类型，且不丢失信息：

• readr::type_convert()：自动检测各列的最优数据类型，比如把存为字符的整数转成integer，把重复值多的字符列转成factor，直接对已有数据框操作即可：

  library(readr)
  df <- type_convert(df)
  

• vroom::vroom()：从文件读取数据时默认自动推断并使用内存友好的类型，比如用integer替代不必要的double，读取后直接得到优化过的数据结构，比传统读取函数效率更高。
• 手动转换因子：对于字符列，若唯一值占比极低（比如低于10%），手动转成factor能大幅降低内存占用：

  df$group_col <- as.factor(df$group_col)
  

• bit64::as.integer64()：处理超大整数时，用这个类型替代double，既避免精度丢失，又比double占用更少内存。

二、大数据集处理的其他简易建议（除data.table替代dplyr外） #

• 分块读取处理：如果数据无法一次性载入内存，用readr::read_csv_chunked()或vroom::vroom_chunked()分块读取，每次处理一部分数据，完成后合并结果。
• 精简列数：提前筛选仅需用于分析的列，比如：

  library(dplyr)
  df <- df %>% select(target_col, feature1, feature2)
  

• 批量优化列类型：用dplyr::across()批量处理符合条件的列，比如自动将重复率高的字符列转成因子：

  df <- df %>% mutate(across(where(is.character) & where(~n_distinct(.) < nrow(.)/10), as.factor))
  

• 使用轻量级数据结构：用tibble替代传统data.frame，纯数值数据用matrix存储，矩阵的内存效率远高于数据框。
• 清理冗余数据：移除完全重复的行（df <- distinct(df)）或全为NA的列（df <- df %>% select(where(~!all(is.na(.))))），减少无效内存占用。
• 分析内存占用：用pryr::object_size(df)查看数据框总内存，skimr::skim(df)查看各列的类型和内存消耗，针对性优化。

内容的提问来源于stack exchange，提问作者PaulaSpinola