R readr::read_csv使用skip参数触发VROOM_CONNECTION_SIZE错误如何解决

问题根因 #

你遇到的报错本质是readr包底层的vroom引擎在处理大skip参数时的缺陷：当你手动指定skip参数时，vroom会从文件开头逐行扫描计数直到跳过指定行数，不会直接跳转到对应字节位置，skip值越大，扫描过程中触发缓冲区不足的概率越高。另外多数人调整VROOM_CONNECTION_SIZE不生效的核心原因是设置时机不对：该环境变量必须在加载readr/vroom包之前设置，包加载完成后再修改不会生效。
你当前手动维护skip参数的分块方式本身效率也极低，越到循环后期，每次读取分块都需要重新扫描前面十几GB的内容，性能损耗非常大。

解决方案 #

方案1（优先推荐）：使用readr原生分块读取接口，彻底抛弃手动skip逻辑 #

readr自带分块读取能力，打开一次文件自动拆分处理，不需要手动计算跳过行数，从根源避免报错，同时性能远高于手动skip的方式，示例代码如下：

library(readr)
library(dplyr)

# 配置参数
chunk_size <- 2000000
col_names <- c("列1", "列2", "...") # 替换为你的实际列名
processed_chunks <- list()

# 定义分块处理回调函数
process_chunk <- function(chunk, chunk_position) {
  # 此处写你自己的过滤、处理逻辑
  filtered_chunk <- chunk %>% filter(你的过滤条件)
  processed_chunks[[length(processed_chunks) + 1]] <<- filtered_chunk
  return(NULL)
}

# 自动分块读取整个文件
read_csv_chunked(
  file = "G:/../data.csv",
  callback = SideEffectChunkCallback$new(process_chunk),
  chunk_size = chunk_size,
  col_names = col_names
)

# 拼接所有处理后的分块得到最终结果
final_result <- bind_rows(processed_chunks)

方案2：替换为data.table::fread读取分块 #

fread对大文件的兼容性更好，skip参数的处理逻辑更高效，不会出现vroom的缓冲区报错问题，适合需要手动控制分块逻辑的场景：

library(data.table)

chunk_size <- 2000000
row_skip <- 2000000
col_names <- c("列1", "列2", "...")

chunk <- fread(
  file = "G:/../data.csv",
  skip = row_skip,
  nrows = chunk_size,
  col.names = col_names
)
# 处理完如果需要转为tibble格式，调用as_tibble(chunk)即可

方案3：正确配置VROOM_CONNECTION_SIZE #

如果你坚持要使用原有的skip+n_max逻辑，必须调整环境变量的设置顺序：

# 第一步：先设置环境变量，必须在加载readr之前执行
Sys.setenv("VROOM_CONNECTION_SIZE" = as.character(131072 * 10000))
# 第二步：再加载readr包
library(readr)

# 后续再执行你的读取逻辑

内容的提问来源于stack exchange，提问作者Littlefatkid