如何基于外部表头向量读取CSV指定列且不加载全量数据

我有一个无表头行的大型CSV文件，表头以向量形式提供。希望在不加载全量文件的前提下，读取指定列子集，所需列子集为单独列表。

说明：本场景中表头列表提供的列名至关重要。示例仅含4个列名，但方案需适用于含预定义列名的大型数据集。关键在于列名仅为外部提供，而非CSV文件内的表头行。

示例CSV数据：

1,2,3,4
5,6,7,8
9,10,11,12

相关R代码定义：

header <- c("A", "B", "C", "D")
subset <- c("D", "B")

目前采用的方法会先加载全量文件，虽能得到预期结果但效率低下：

# 环境准备
library(readr)

write.table(
  structure(list(V1 = c(1L, 5L, 9L), V2 = c(2L, 6L, 10L), V3 = c(3L, 7L, 11L), V4 = c(4L, 8L, 12L)), class = "data.frame", row.names = c(NA, -3L)),
  file="sample-data.csv",
  row.names=FALSE,
  col.names=FALSE,
  sep=","
)

header <- c("A", "B", "C", "D")
subset <- c("D", "B")

# 当前方法
df1 <- read_csv(
  "sample-data.csv",
  col_names = header
)[subset]

df1

执行结果：

# A tibble: 3 × 2
      D     B
  <dbl> <dbl>
1     4     2
2     8     6
3    12    10

需求：如何在不加载全量文件的前提下得到相同结果？

方法1：使用readr指定列读取规则 #

核心逻辑是先将目标列名映射到对应的列索引，再通过cols_only定义仅读取这些列的规则，避免加载全量数据：

library(readr)

# 把子集列名映射到CSV中的列位置
subset_positions <- match(subset, header)

# 构建列读取规则：仅保留目标列，其余列跳过
col_spec <- lapply(seq_along(header), function(i) {
  if (i %in% subset_positions) col_double() else col_skip()
})
names(col_spec) <- header

# 读取指定列
df2 <- read_csv(
  "sample-data.csv",
  col_names = header,
  col_types = do.call(cols_only, col_spec)
)

df2

执行结果与原方法完全一致，且仅加载了需要的列，大幅减少内存占用。

方法2：使用data.table::fread（高效简洁） #

fread支持直接通过select参数指定列索引，结合列名映射可以快速实现需求，且处理大型文件时性能更优：

library(data.table)

# 映射子集列名到列索引
subset_positions <- match(subset, header)

# 读取指定列并调整列顺序为subset指定的顺序
df3 <- fread(
  "sample-data.csv",
  col.names = header,
  select = subset_positions
)[, ..subset]

df3

执行结果符合预期，代码更简洁，适合处理超大型CSV文件。

内容的提问来源于Stack Exchange，提问作者Joshua Shew