在R中高效按ID分组大型数据集的技术求助

针对你2500万条观测、35000个ID的大数据场景，以及数据存储在PostgreSQL的情况，以下是几种远快于循环subset的高效方案：

一、内存内高效分组（已将数据加载到R中） #

如果已经把数据拉到R内存，优先用向量化或专门的大数据处理包，避免循环的重复全表扫描：

1. 使用data.table包（最快内存内方案） #

data.table的底层实现做了极致优化，拆分速度远超base R和dplyr：

library(data.table)
# 转换为data.table格式
dt <- as.data.table(ingredients)
# 按id拆分成分组列表
ingredients_by_id <- split(dt, by = "id")

# 或者更高效的写法（直接生成带命名的列表）
ingredients_by_id <- dt[, .(list(.SD)), by = id]$V1
names(ingredients_by_id) <- unique(dt$id)

2. 使用dplyr包（语法简洁） #

如果习惯tidyverse语法，group_split可以快速生成分组列表：

library(dplyr)
ingredients_by_id <- ingredients %>% 
  group_by(id) %>% 
  group_split(.keep = TRUE)
# 给列表添加ID命名（可选）
names(ingredients_by_id) <- unique(ingredients$id)

二、最优方案：在PostgreSQL端处理分组（避免全量加载） #

2500万条数据全量拉到R内存会占用大量资源，直接在数据库端处理是效率最高的选择：

1. 用dbplyr对接数据库分组 #

通过dbplyr生成SQL查询，在数据库端完成分组，无需加载全量数据：

library(DBI)
library(dbplyr)
# 连接PostgreSQL数据库
con <- dbConnect(RPostgres::Postgres(),
                 host = "你的主机地址",
                 dbname = "你的数据库名",
                 user = "用户名",
                 password = "密码")
# 映射数据库表到R的虚拟tbl对象（不加载数据）
ingredients_tbl <- tbl(con, "ingredients")
# 在数据库端按id分组（仅生成SQL，未执行查询）
grouped_tbl <- ingredients_tbl %>% group_by(id)

# 按需提取分组数据，比如获取单个ID的观测
single_id_data <- grouped_tbl %>% filter(id == 1) %>% collect()

2. 直接执行SQL聚合查询 #

如果不需要拆分列表，可直接在数据库端将每个ID的食材合并为数组，返回极小的结果集：

# 查询每个ID对应的食材列表
result <- dbGetQuery(con, "
  SELECT id, array_agg(ingredients) AS ingredients_list
  FROM ingredients
  GROUP BY id
")

返回的结果是一个数据框，每个ID对应一个食材数组，内存占用极低，处理速度极快。

三、需要避免的低效操作 #

• 绝对不要用base R的for循环+subset：每次subset都会全表扫描，35000次循环等于35000次全表遍历，效率极低。
• 不要盲目全量加载2500万条数据到R：除非你的内存有几十GB余量，否则会导致内存溢出或极端卡顿。

内容的提问来源于stack exchange，提问作者R_user