使用arrow、duckdb、dbplyr创建多连接后遭遇内存不足错误求排查

核心问题 #

1. 多独立内存实例引发内存溢出：arrow::to_duckdb()默认会创建独立的内存型DuckDB实例，当你尝试连接来自不同实例的表时，DuckDB需要在内存中完成跨实例的数据传输与计算，直接耗尽内存。
2. 未配置临时磁盘目录：默认内存模式下未指定临时目录，内存不足时无法将数据暂存到磁盘，直接触发OOM错误。
3. 代码笔误：连接代码中写了bd1和bd2，实际应为db1和db2，会导致额外运行错误。

修正方案 #

1. 统一使用单个持久化DuckDB连接 #

手动创建指向磁盘文件（或指定临时目录）的DuckDB连接，所有Arrow数据集都导入到这个连接中，避免跨实例操作：

# 创建持久化DuckDB连接，指定磁盘存储路径与临时目录
con <- DBI::dbConnect(duckdb::duckdb(), dbdir = "./my_duckdb_storage.db", temp_directory = "./duckdb_temp")

# 将Arrow数据集导入到同一个连接的表中
db1 <- arrow::open_dataset(source = paste0(path, "data1.csv"), format = "csv") %>%
  arrow::to_duckdb(con = con, table_name = "data1")

db2 <- arrow::open_dataset(source = paste0(path, "data2.csv"), format = "csv") %>%
  arrow::to_duckdb(con = con, table_name = "data2")

# 在同一连接内执行关联操作
db3 <- dplyr::inner_join(db1, db2, by = "id")

# 统计行数或拉取数据时，计算会在磁盘支持的连接中执行，自动将溢出数据暂存到临时目录
db3 %>%
  ungroup() %>%
  summarise(num = n()) %>%
  collect()

2. 配置DuckDB内存限制（可选） #

如果仍有内存压力，可手动设置内存上限，让DuckDB更早触发磁盘暂存：

# 将内存限制设置为4GB
duckdb::duckdb_config_set(con, "memory_limit", "4GB")

3. 清理临时资源 #

操作完成后关闭连接，释放资源：

DBI::dbDisconnect(con, shutdown = TRUE)

内容的提问来源于stack exchange，提问作者Marti