R语言中arrow::read_csv_arrow无nrows/n_max参数的问题咨询

参数情况确认 #

目前arrow::read_csv_arrow确实没有在官方文档中列出nrows或n_max这类限制读取行数的参数，这不是你遗漏了功能，该参数目前尚未在这个函数中实现。

快速替代方案 #

• 使用open_dataset + dplyr切片（推荐，大文件友好）
  借助arrow的数据集接口配合dplyr的slice_head，可以高效读取指定行数，无需加载整个文件：

  library(arrow)
  library(dplyr)
  
  # 读取前100行示例
  df <- open_dataset("your_file.csv", format = "csv") %>%
    slice_head(n = 100) %>%
    collect()
  

• 用其他读取函数先取样本再转arrow格式
  如果文件体积不大，可以先用支持n_max的函数读取小样本，再转换为arrow对象：

  library(readr)
  library(arrow)
  
  # 用readr读取前100行后转为arrow Table
  df_temp <- read_csv("your_file.csv", n_max = 100)
  df_arrow <- as_arrow_table(df_temp)
  

• 底层scan_csv手动控制行数
  使用更底层的scan_csv函数，通过Read()方法指定读取行数：

  library(arrow)
  
  reader <- scan_csv("your_file.csv")
  # 读取前100行
  df <- reader$Read(100)
  

内容的提问来源于stack exchange，提问作者Matthew Son