如何用Apache Arrow R API读取带首尾行的50GB CSV且不修改文件？

问题背景 #

处理50GB级别的CSV文件，文件首行是冗余信息（可通过skip参数跳过），末行列数与数据行不匹配，导致Apache Arrow读取报错；要求不修改原文件、不加载整个文件到内存。

解决方案 #

方法1：利用首尾行的行数信息（最精确）

如果首尾行包含文件总行数信息（如示例中首尾行末尾的数字），可以先提取总行数，再精确读取数据行：

library(arrow)

# 读取首行提取总行数（假设总行数是首行最后一个空格分隔的字段）
first_line <- readLines("your_file.csv", n = 1)
total_lines <- as.integer(strsplit(first_line, "\\s+")[[1]][length(strsplit(first_line, "\\s+")[[1]])])

# 计算实际数据行数：总行数减去首行和末行
data_row_count <- total_lines - 2

# 读取数据：跳过首行，只读取指定行数的有效数据
df <- read_csv_arrow(
  file = "your_file.csv",
  skip = 1,
  n_max = data_row_count,
  sep = ";"
)

方法2：自动丢弃无效行（最简便）

Apache Arrow的read_csv_arrow提供invalid_row_policy参数，可直接丢弃列数不匹配的行（即末行），无需计算行数：

library(arrow)

df <- read_csv_arrow(
  file = "your_file.csv",
  skip = 1,
  sep = ";",
  # 丢弃列数与数据行不匹配的无效行
  invalid_row_policy = "drop"
)

注：该方法的前提是只有末行是列数不匹配的无效行，首行已通过skip=1跳过。

方法3：手动流式过滤（灵活适配复杂场景）

如果需要更复杂的过滤逻辑，可通过Arrow的流式读取API逐批处理并过滤：

library(arrow)

# 先读取一行数据行，获取预期列数
sample_data_line <- readLines("your_file.csv", n = 2)[2]
expected_cols <- length(strsplit(sample_data_line, ";")[[1]])

# 构建CSV读取器
reader_builder <- csv_reader_builder(
  "your_file.csv",
  skip = 1,
  sep = ";"
)
reader <- reader_builder$finish()

# 流式读取并过滤有效批次
valid_batches <- list()
while (!reader$finished()) {
  batch <- reader$read_next_batch()
  # 仅保留列数符合预期的批次
  if (ncol(batch) == expected_cols) {
    valid_batches <- c(valid_batches, list(batch))
  }
}

# 合并为最终的Arrow Table（支持后续流式处理）
df <- do.call(rbind, valid_batches)
# 如需转换为data.frame：df <- as.data.frame(df)

关键优势 #

以上所有方法均基于Apache Arrow的流式读取机制，不会将50GB文件全部加载到内存，同时无需修改原文件，完全符合需求。

内容的提问来源于stack exchange，提问作者Leonardo Miceli