在R中无需创建数据框，直接将SQLite表导出为Apache Parquet

可以实现无需加载全量数据到内存，直接从SQLite数据库导出并拆分Parquet文件，核心是利用arrow包对数据库连接的流式支持，配合DBI包操作SQLite。

步骤1：用DBI替代sqldf导入CSV到SQLite #

sqldf底层依赖DBI，直接使用DBI可以更灵活地和arrow配合，同时保持数据不进内存：

library(DBI)
library(arrow)
library(readr)

input_file_path <- "D:/tmp/mydata.csv"
db_file_path <- "D:/tmp/db_tmp_sqlite.db"

# 删除旧数据库文件
if (file.exists(db_file_path)) unlink(db_file_path)

# 连接SQLite
con <- dbConnect(RSQLite::SQLite(), dbname = db_file_path)

# 导入CSV到SQLite（流式导入，不加载全量到内存）
dbWriteTable(
  conn = con,
  name = "mytable",
  value = input_file_path,
  field.types = list(
    # 在这里指定列类型，比如 col1 = "INTEGER", col2 = "TEXT"
  ),
  header = TRUE,
  sep = ",",
  row.names = FALSE
)

步骤2：流式导出为拆分的Parquet数据集 #

利用arrow的open_dataset()从数据库创建一个惰性数据集（仅保留查询逻辑，不加载数据），然后用write_dataset()直接写入，指定拆分键即可：

# 创建数据库来源的惰性数据集
db_dataset <- open_dataset(
  source = con,
  table = "mytable"
)

# 导出为按多列拆分的Parquet数据集
write_dataset(
  dataset = db_dataset,
  path = "D:/tmp/parquet_output",
  partitioning = c("split_col1", "split_col2"), # 替换为你的拆分键列名
  format = "parquet"
)

# 关闭数据库连接
dbDisconnect(con)

关键原理 #

• open_dataset()配合数据库连接时，不会把全量数据加载到内存，而是生成一个可以流式读取的数据集对象。
• write_dataset()会自动分批次从SQLite读取数据，处理后写入对应的Parquet文件，每一批次仅占用少量内存，完全符合共享环境的内存限制要求。

额外优化建议 #

• 如果需要对数据做预处理（比如添加拆分列），可以在open_dataset()后通过惰性操作实现，这些操作会在流式读取时执行，无需加载全量数据：

  db_dataset <- open_dataset(con, "mytable") %>%
    mutate(new_split_col = case_when(
      col1 > 100 ~ "group_a",
      TRUE ~ "group_b"
    ))
  

• 可以通过write_dataset()的max_rows_per_file参数控制单个Parquet文件的大小，避免生成过大的文件。

内容的提问来源于stack exchange，提问作者user17911