在R中使用DuckDB或Arrow处理大型CSV：提取列名与加载子集

1. 安装并加载必要的R包 #

先安装duckdb（轻量级嵌入式数据库，直接在硬盘处理大文件）和dplyr（简化数据筛选操作）：

install.packages(c("duckdb", "dplyr"))
library(duckdb)
library(dplyr)

2. 提取CSV的列名 #

只读取文件第一行就能拿到列名，完全不占内存：

# 替换成你的CSV文件路径
col_names <- read.csv("你的文件路径/目标文件.csv", nrows = 1, header = TRUE) %>% colnames()
print(col_names)

3. 筛选并加载子集数据 #

3.1 建立临时数据库连接 #

创建一个临时DuckDB连接，关闭后自动清理，不用额外维护：

con <- dbConnect(duckdb())

3.2 关联CSV文件到数据库 #

把硬盘上的CSV注册成数据库里的虚拟表，不用导入全量数据：

# 替换文件路径，表名big_csv可以自定义
dbExecute(con, "CREATE VIEW big_csv AS SELECT * FROM read_csv_auto('你的文件路径/目标文件.csv')")

read_csv_auto会自动识别CSV的分隔符、数据类型，不用手动配置。

3.3 选择需要的列和行 #

用直观的dplyr语法筛选，或者直接写SQL，二选一即可：

方式一：dplyr语法（更易读）

# 替换成你需要的列名和筛选条件，不需要筛选行就删掉filter那行
subset_data <- con %>%
  tbl("big_csv") %>%
  select(列名1, 列名3, 列名5) %>%  # 选你要的列
  filter(列名2 > 500) %>%  # 筛选行的条件
  collect()  # 把筛选后的子集加载到R内存

方式二：SQL语法（适合熟悉SQL的用户）

subset_data <- dbGetQuery(con, "SELECT 列名1, 列名3 FROM big_csv WHERE 列名2 > 500")

3.4 关闭数据库连接 #

dbDisconnect(con, shutdown = TRUE)

额外提示 #

• collect()之前的所有操作都在硬盘上执行，不会占用大量内存，只有最终的子集才会加载到R里。
• 如果需要先预览数据确认格式，可执行：

preview_data <- con %>% tbl("big_csv") %>% head(10) %>% collect()
print(preview_data)

内容的提问来源于stack exchange，提问作者Marti