如何使用dbplyr实现group_by分组汇总并生成列表列

你遇到的报错原因很简单：dbplyr的核心逻辑是将R侧的dplyr语法翻译为对应数据库可执行的SQL语句，但SQL原生没有R的list数据结构，自然无法识别list()函数。以下是两类可行的替代方案：

方案1：数据量较小时先拉取到本地再汇总 #

如果数据规模可以接受全量拉取，直接用collect()函数将远程表数据同步到本地R环境，再用常规的dplyr语法处理即可：

library(dbplyr)
library(dplyr)

db <- memdb_frame(g = c(1, 1, 1, 2, 2), x = c(4, 3, 6, 9, 2))

res <- db %>%
  # 先把远程表全部数据拉回本地
  collect() %>%
  group_by(g) %>%
  summarize(list_x = list(x))

运行后得到的res就和你本地tibble处理的结果完全一致。

方案2：数据量较大时先用数据库聚合函数预处理 #

如果数据规模太大无法全量拉取，可以先在数据库侧用对应数据库的聚合函数把分组值处理为可存储的格式，拉回本地后再转成列表：

SQLite（你示例中memdb_frame对应的数据库）用GROUP_CONCAT #

res <- db %>%
  group_by(g) %>%
  # 调用SQLite原生的GROUP_CONCAT函数，把同组x值拼接为逗号分隔的字符串
  summarize(concat_x = sql("GROUP_CONCAT(x, ',')")) %>%
  collect() %>%
  # 本地侧把字符串拆分为数值列表
  mutate(list_x = strsplit(concat_x, ",") |> lapply(as.numeric)) |>
  select(g, list_x)

PostgreSQL 等支持数组的数据库用array_agg #

如果使用支持数组类型的数据库，可以直接调用数组聚合函数，后续转列表更方便：

# 假设db_pg是PostgreSQL对应的远程表
res <- db_pg %>%
  group_by(g) %>%
  summarize(arr_x = sql("array_agg(x)")) %>%
  collect() %>%
  mutate(list_x = as.list(arr_x)) |>
  select(g, list_x)

其他数据库可以对应替换为对应的分组拼接函数即可，比如MySQL同样用GROUP_CONCAT，SQL Server用STRING_AGG。

内容的提问来源于stack exchange，提问作者David Lucey