Windows系统下R语言快速访问大CSV文件指定行的技术问询

我太懂这种痛苦了——2GB的CSV、千万级别的行数，全量读取要两分钟完全没法忍，连readLines都掉链子。下面给你几个在Windows上用R快速精准读取第i行的靠谱解法：

方案1：用data.table的fread（最推荐） #

data.table的fread是C实现的快速读取工具，支持精准跳过指定行数后只读目标行，不用加载整个文件，速度比全量读取快N倍。

代码示例： #

library(data.table)

# 1. 先获取表头（如果你的CSV有表头的话）
col_names <- fread("myFile.csv", nrows = 0)  # 只读取列名，瞬间完成

# 2. 读取第i行数据（这里假设你要读的是第500万行数据，注意：表头占第1行，所以要跳过前4999999行）
target_row_num <- 5000000
target_line <- fread(
  "myFile.csv",
  skip = target_row_num - 1,  # 跳过前n-1行，从第n行开始读
  nrows = 1,                  # 只读取1行
  header = FALSE              # 因为已经跳过了表头，这里设为FALSE
)

# 3. 给读取的行加上列名
colnames(target_line) <- col_names

为什么好用： #

fread会自动处理CSV里的引号分隔、不同编码问题，而且底层是C，在Windows上的性能碾压纯R实现的readLines。

方案2：用vroom（专为大文件设计） #

vroom是tidyverse生态下的大文件读取工具，支持延迟加载，但我们可以用它的参数直接定位目标行，速度同样飞快。

代码示例： #

library(vroom)

# 1. 获取列名
col_names <- colnames(vroom("myFile.csv", n_max = 0))

# 2. 读取第i行数据
target_row_num <- 5000000
target_line <- vroom(
  "myFile.csv",
  skip = target_row_num - 1,
  n_max = 1,
  col_names = col_names
)

优势： #

vroom会自动检测CSV的格式，语法更贴近tidyverse风格，如果你平时用dplyr之类的工具，这个方案上手更顺。

方案3：修复readLines的问题（备选） #

你之前用readLines失败，大概率是编码问题或者没有正确处理带引号的字段，可以试试调整连接参数：

代码示例： #

# 打开文件连接，指定Windows常用编码（比如GBK或者UTF-8，根据你的CSV实际编码来）
con <- file("myFile.csv", "r", encoding = "GBK")

# 跳过前M行（M = 目标行号 - 1，比如要读第500万行，M=4999999）
target_line_str <- readLines(con, n = 1, skip = 4999999)
close(con)  # 一定要记得关闭连接！

# 把读取的字符串转成数据框（注意分隔符要和你的CSV一致）
target_line_df <- read.table(
  text = target_line_str,
  sep = ",",
  col.names = c("key1", "key2", "result"),
  stringsAsFactors = FALSE,
  quote = "\""  # 如果你的字段有双引号包裹，加上这个参数
)

注意： #

这个方案的效率不如前两个，因为readLines是纯R实现的，对于千万行级的文件，跳过大量行的耗时还是会比fread/vroom高，但胜在不需要加载额外包（如果你的环境没法装包的话）。

内容的提问来源于stack exchange，提问作者Nielsou Akbrg