如何通过Arrow高效提取大CSV数据集的指定行样本

你当前用Arrow加载多CSV数据集后，按行索引抽子样本的需求，可通过转换存储格式、预构建行索引、优化查询逻辑这几个方向大幅提升效率，同时解决你测试中遇到的DuckDB结果异常、Arrow filter报错问题。

一、优先转换为列存格式（Parquet/Feather） #

CSV是行存格式，随机访问单/多行的性能极差。Arrow原生支持的Parquet/Feather是列存格式，支持更快的行定位、列式读取，能大幅降低随机访问的IO开销。

转换代码示例： #

library(arrow)

# 读取原CSV数据集
ar <- list.files("C:/Users/..........\Desktop\csv_data/", full.names = T) |> 
  open_dataset(format = "csv")

# 转换为Parquet格式并写入新文件夹（按文件分块保持原结构）
write_dataset(ar, "C:/Users/..........\Desktop\parquet_data/", format = "parquet")

# 加载转换后的Parquet数据集
ar_parquet <- open_dataset("C:/Users/..........\Desktop\parquet_data/", format = "parquet")

之后用ar_parquet[idx,]抽取子样本，性能会比原CSV数据集提升数倍。

二、预构建行索引列，避免全量加载 #

Arrow Dataset不支持直接用row_number() %in% idx这类表达式（这就是你直接用ar |> filter(...)报错的原因），而转成Arrow Table后虽然能运行，但本质是全量加载数据到R后再过滤，效率极低。

解决方法是在转换数据时预先生成一个全局自增的行索引列，之后直接按索引列过滤，无需全量加载：

预生成索引列的代码： #

# 转换CSV为Parquet时添加全局索引
library(dplyr)

# 先计算总行数（Arrow Dataset支持nrow()快速获取）
total_rows <- nrow(ar)
# 生成索引序列，分文件写入时保持全局连续
ar_with_index <- ar |> 
  mutate(row_idx = row_number()) |> 
  write_dataset("C:/Users/..........\Desktop\parquet_data_with_index/", format = "parquet")

# 加载带索引的数据集
ar_indexed <- open_dataset("C:/Users/..........\Desktop\parquet_data_with_index/", format = "parquet")

# 按索引抽取子样本（Arrow会下推过滤，只读取符合条件的行）
idx <- c(25939, 46332, 129989)
my_subset <- ar_indexed |> 
  filter(row_idx %in% idx) |> 
  collect()

这种方法的性能远高于全量加载后过滤，因为Arrow会把过滤逻辑下推到存储层，只读取符合条件的行数据。

三、解释你测试中的问题 #

1. 为什么as_arrow_table(ar)后filter能运行但效率低？ #

open_dataset()返回的是Arrow Dataset（分布式数据集对象），不支持row_number()这类需要全局行号的表达式；而as_arrow_table(ar)会把整个数据集加载到内存中变成Arrow Table，此时row_number()能运行，但本质是全量加载后在R中过滤，所以效率比直接用ar[idx,]低（你的microbenchmark结果也验证了这一点）。

2. DuckDB返回结果异常的原因 #

你用to_duckdb()后得到错误数据，是因为DuckDB在读取Arrow Dataset时，没有正确映射原CSV的数值列（可能是CSV的类型推断问题，或者转换时的bug）。解决方法是：

• 先把数据转换为Parquet格式，再导入DuckDB
• 或者用预生成的row_idx列进行过滤，避免依赖row_number()

修正后的DuckDB用法：

library(duckdb)
library(dplyr)

# 用带索引的Parquet数据集
ar_indexed |> 
  to_duckdb() |> 
  filter(row_idx %in% idx) |> 
  collect()

四、最优抽取方式对比 #

结合你的测试和优化方案，最优的抽取方式优先级为：

1. Parquet数据集+预生成索引列+filter(row_idx %in% idx)：性能最优，无需全量加载，IO开销最小
2. Parquet数据集+直接用ar_parquet[idx,]：比CSV快，适合临时抽取
3. 原CSV数据集的ar[idx,]：虽然能运行，但IO开销大，不推荐长期使用

内容的提问来源于stack exchange，提问作者mr.T