在R与DuckDB中读取5GB以上CSV文件时遇异常求助

• 尝试将单份5GB以上的CSV数据集加载到DuckDB时，VS Code中运行R数分钟后崩溃，提示“重载窗口”，生成空的example.wal文件，对应数据库仅12KB大小。
• 用小型测试数据集验证时，触发以下错误：
  • 核心错误：Invalid Input Error: Error in file "example.csv", on line 3: expected 1 values per row, but got more
  • 多条警告：提示行1-5存在嵌入空字符，以及数据库垃圾回收提示
• 数据集为带表头的3列结构，示例行如下：

DateTime,Beta,Alpha
01/02/2022 22:03:13.151,0.83987,0.84129
01/02/2022 22:05:03.942,0.83959,0.84143
01/02/2022 22:05:09.121,0.83982,0.84124
01/02/2022 22:05:09.286,0.83978,0.8412

• 原加载代码：

# Add libraries
library(duckdb)
library(dplyr)
library(DBI)

# write to disk as "Example", other defaults to in memory
con <- DBI::dbConnect(duckdb::duckdb(), "Example")
duckdb::duckdb_read_csv(
    conn = con, name = "Example_csv", files = "data/more/Example-2022.csv",
    header = TRUE, delim = ",", na.strings = "NA"
)

DBI::dbListTables(con)

1. 清理CSV中的嵌入空字符 #

CSV文件中的嵌入空字符（\0）会干扰DuckDB的解析逻辑，先预处理文件：

# 读取并清理空字符
raw_lines <- readLines("data/more/Example-2022.csv", warn = FALSE)
clean_lines <- gsub("\0", "", raw_lines)
writeLines(clean_lines, "data/more/Example-2022-clean.csv")

2. 修正列数不匹配问题 #

开启错误忽略模式跳过格式错误行，同时强制指定列类型避免自动解析偏差：

library(duckdb)
library(DBI)

# 连接数据库并设置内存限制（根据机器配置调整，大文件建议16GB以上）
con <- DBI::dbConnect(duckdb::duckdb(), "Example", config = list("memory_limit" = "16GB"))

# 加载清理后的CSV文件
duckdb::duckdb_read_csv(
    conn = con,
    name = "Example_csv",
    files = "data/more/Example-2022-clean.csv",
    header = TRUE,
    delim = ",",
    na.strings = "NA",
    ignore_errors = TRUE,  # 跳过格式错误的行
    col_types = c(DateTime = "VARCHAR", Beta = "DOUBLE", Alpha = "DOUBLE")  # 强制指定列类型
)

# 验证表是否创建成功
print(DBI::dbListTables(con))

# 关闭连接时强制关闭数据库引擎，避免垃圾回收警告
DBI::dbDisconnect(con, shutdown = TRUE)

3. 大文件加载优化建议 #

• 调整内存限制：根据机器可用内存设置memory_limit，提升加载效率
• 拆分文件：若单文件过大，可拆分为多个小文件后分批加载再合并
• 更换运行环境：避免在VS Code的R终端运行，改用独立RStudio或原生R终端，减少编辑器资源抢占导致的崩溃

内容的提问来源于stack exchange，提问作者Aaron