如何从PostgreSQL/CSV流式写入分区Parquet(Arrow)数据集？

针对数十至数百GB级别的PostgreSQL表或CSV文件，以下几种方案可以实现懒加载/分块写入分区Parquet，无需全量加载数据到内存：

方案1：从PostgreSQL直接流式写入（dbplyr + Arrow） #

利用Arrow的流式处理能力，结合dbplyr的懒加载查询，分批次拉取数据并写入同一分区数据集：

library(dbplyr)
library(arrow)
library(RPostgres)

# 建立PostgreSQL连接
conn <- DBI::dbConnect(Postgres(), dbname = "your_db", host = "xxx", user = "xxx", password = "xxx")
lazy_tbl <- tbl(conn, "your_large_table")

# 获取所有唯一年份（懒加载查询，不占内存）
years <- lazy_tbl %>% 
  distinct(year_column) %>% 
  pull() %>% 
  sort()

# 初始化Parquet数据集存储目录
dataset_path <- "./partitioned_parquet"
if (!dir.exists(dataset_path)) dir.create(dataset_path)

# 循环处理每个年份分块，流式写入
for (y in years) {
  year_subset <- lazy_tbl %>% filter(year_column == y)
  arrow::write_dataset(
    dataset = year_subset,
    path = dataset_path,
    format = "parquet",
    partitioning = "year_column",
    use_threads = TRUE,
    existing_data_behavior = "overwrite_or_ignore" # 确保分块追加到同一数据集
  )
}

# 关闭数据库连接
DBI::dbDisconnect(conn)

核心逻辑：write_dataset处理dbplyr懒加载表时，会自动分批次从数据库拉取数据，不会一次性加载全量数据；existing_data_behavior参数保证后续年份的分块写入到同一个分区数据集，不会覆盖已有数据。

方案2：从CSV文件流式生成分区Parquet #

如果已有导出的CSV文件，直接用Arrow的流式读取功能分块处理：

library(arrow)

csv_path <- "./your_large_data.csv"
dataset_path <- "./partitioned_parquet"

# 以流式方式读取CSV（不加载全量数据）
csv_dataset <- open_dataset(csv_path, format = "csv")

# 按年份分区写入Parquet，全程流式处理
write_dataset(
  dataset = csv_dataset,
  path = dataset_path,
  format = "parquet",
  partitioning = "year_column",
  use_threads = TRUE,
  chunk_size = 64 * 1024 * 1024, # 64MB分块，可根据内存调整
  existing_data_behavior = "overwrite_or_ignore"
)

关键参数：chunk_size控制每次处理的数据块大小，避免内存溢出；流式读取会自动拆分CSV文件为多个小块处理。

方案3：用DuckDB高效实现分区写入 #

DuckDB对大数据处理的内存优化极佳，支持直接读取PostgreSQL或CSV，然后一键导出分区Parquet：

library(duckdb)
library(DBI)

# 启动DuckDB内存数据库
duck_conn <- dbConnect(duckdb())

# 从PostgreSQL创建虚拟视图（懒加载，不占内存）
dbExecute(duck_conn, "
  CREATE VIEW large_data_view AS 
  SELECT * FROM postgresql://user:password@host:port/dbname/your_large_table
")

# 按年份分区导出Parquet
dbExecute(duck_conn, "
  COPY (SELECT * FROM large_data_view) 
  TO './partitioned_parquet' 
  (FORMAT PARQUET, PARTITION_BY year_column, OVERWRITE_OR_IGNORE 1)
")

# 关闭并清理DuckDB连接
dbDisconnect(duck_conn, shutdown = TRUE)

优势：无需手动循环分块，DuckDB自动处理数据拆分与写入，内存占用极低；如果是CSV文件，只需把CREATE VIEW改成读取CSV的语句即可：CREATE VIEW large_data_view AS SELECT * FROM read_csv('./your_large_data.csv')

注意事项 #

• 确保year_column是表中用于分区的年份字段（可以是日期字段，Arrow/DuckDB会自动提取年份作为分区键）
• 分区后的Parquet数据集会按年份生成子目录（如year_column=2020/），符合标准的分区格式，后续可以直接用arrow::open_dataset读取整个数据集
• 根据自身内存情况调整分块大小（chunk_size）或数据库批量拉取的参数，避免OOM

内容的提问来源于stack exchange，提问作者abalter