R语言中高效去重DataFrame并生成案例权重的方法

针对1200万行、60列的大型数据集，dplyr::group_by_all() %>% count()的性能瓶颈在于分组计算的内存开销和效率，以下是更高效的替代方案，包括内存友好的内存内处理和读取阶段直接完成聚合的方法：

一、内存内高效处理：用data.table替代dplyr #

data.table针对大数据量的分组操作做了深度优化，内存占用更低、计算速度远快于dplyr，代码实现也简洁：

library(data.table)
# 转换为data.table格式（如果还不是的话）
setDT(df)
# 按所有列分组，计算每组出现次数作为权重
agg_df <- df[, .(weights = .N), by = names(df)]

如果是刚读取数据，直接用fread读取为data.table再处理，效率更高：

df <- fread("your_data.csv")
agg_df <- df[, .(weights = .N), by = names(df)]

二、读取阶段直接完成聚合（避免加载全量数据） #

如果数据集大到无法完全加载到内存，最高效的方式是在读取前用命令行工具预处理，直接生成聚合后的结果，再读入R：

用awk命令行预处理（推荐） #

awk是轻量的文本处理工具，无需加载全量数据即可完成分组计数，速度极快：

# 假设CSV分隔符是逗号，根据实际情况修改-F参数（比如|对应-F'|'）
awk -F',' '
  NR==1 {print $0",weights"; next}  # 保留表头并添加weights列
  {key=$0; count[key]++}            # 按整行作为键计数
  END {for(k in count) print k","count[k]}  # 输出聚合结果
' your_raw_data.csv > aggregated_data.csv

之后用R读取处理好的文件：

agg_df <- fread("aggregated_data.csv")

R内读取时懒加载聚合（次选） #

如果不想用命令行，可借助vroom的懒加载特性配合dplyr，减少内存占用：

library(vroom)
library(dplyr)

agg_df <- vroom("your_data.csv") %>%
  group_by(across(everything())) %>%
  summarise(weights = n(), .groups = "drop")

关键说明 #

• data.table的分组逻辑默认将NA视为有效分组键，与dplyr行为一致，若需忽略含NA的行，可在分组前过滤：df[complete.cases(df), .(weights = .N), by = names(df)]
• 命令行预处理的方式几乎不占用R的内存，适合超大规模数据集；data.table则在内存足够的情况下提供最快的内存内处理速度

内容的提问来源于stack exchange，提问作者Fnguyen