如何在R中加载.tab文件的n:m行及指定列？

一、直接加载指定列+指定行范围 #

基础R实现 #

先读取表头确定目标列的索引，再结合skip（跳过前面的行）和nrows（加载行数）参数，同时用colClasses跳过不需要的列，避免浪费内存：

# 读取表头获取列名
header <- read.table("your_data.tab", nrows = 1, header = FALSE, sep = "\t", stringsAsFactors = FALSE)
# 指定需要保留的列
target_cols <- c("col1", "col3", "col5")
# 匹配目标列的索引
col_indices <- which(header[1,] %in% target_cols)

# 定义要加载的行范围（示例：第100001到200000行）
start_row <- 100001
end_row <- 200000

# 加载指定行和列的子集
data_subset <- read.table("your_data.tab", 
                          skip = start_row - 1,  # 跳过前start_row-1行（含表头）
                          nrows = end_row - start_row + 1,  # 加载的行数
                          header = FALSE, 
                          sep = "\t", 
                          # 用"NULL"跳过不需要的列，NA表示自动识别列类型
                          colClasses = ifelse(1:ncol(header) %in% col_indices, NA, "NULL"),
                          stringsAsFactors = FALSE)
# 给子集添加列名
colnames(data_subset) <- target_cols

高效实现（用readr包） #

readr包的read_tsv比基础read.table更快，支持直接用cols_only指定要保留的列，语法更简洁：

library(readr)

# 定义行范围和目标列
start_row <- 100001
end_row <- 200000
target_cols <- c("col1", "col3", "col5")

# 加载指定行和列
data_subset <- read_tsv("your_data.tab",
                        skip = start_row - 1,
                        n_max = end_row - start_row + 1,  # 对应nrows
                        col_names = target_cols,  # 手动指定列名（因为跳过了表头）
                        # 明确指定列类型，进一步提升效率
                        cols_only(col1 = col_double(), col3 = col_character(), col5 = col_integer()))

二、分批加载并合并结果 #

如果需要批量处理整个文件（比如每10万行一批），可以写循环实现，处理后逐批保存，最后合并：

# 配置参数
batch_size <- 100000
# 先通过终端命令`wc -l your_data.tab`获取总行数，减1得到数据行数（去掉表头）
total_data_rows <- 999999 
output_dir <- "batch_files"
dir.create(output_dir, showWarnings = FALSE)

# 提前获取表头和目标列信息
header <- read.table("your_data.tab", nrows = 1, header = FALSE, sep = "\t", stringsAsFactors = FALSE)
target_cols <- c("col1", "col3", "col5")
col_indices <- which(header[1,] %in% target_cols)

# 循环处理每一批
for (i in seq(0, total_data_rows - 1, batch_size)) {
  # 计算当前批次的起始和结束行（数据行从第2行开始，对应表头后的第一行）
  start_data_row <- i + 2
  end_data_row <- min(i + batch_size + 1, total_data_rows + 1)
  
  # 加载当前批次
  batch_data <- read.table("your_data.tab",
                           skip = start_data_row - 1,
                           nrows = end_data_row - start_data_row + 1,
                           header = FALSE,
                           sep = "\t",
                           colClasses = ifelse(1:ncol(header) %in% col_indices, NA, "NULL"),
                           stringsAsFactors = FALSE)
  colnames(batch_data) <- target_cols
  
  # 保存批次文件（用rds格式比csv更高效）
  saveRDS(batch_data, file.path(output_dir, paste0("batch_", i+1, "_", i+batch_size, ".rds")))
  
  # 释放内存
  rm(batch_data)
  gc()
}

# 合并所有批次文件
batch_files <- list.files(output_dir, pattern = "\\.rds$", full.names = TRUE)
merged_data <- do.call(rbind, lapply(batch_files, readRDS))

# 保存最终合并结果
saveRDS(merged_data, "final_merged_data.rds")

注意事项 #

• 若不知道总行数，可在终端执行wc -l your_data.tab，结果减1即为数据行数（表头占1行）。
• 优先使用readr包处理大文件，速度和内存效率远高于基础R函数。
• 用colClasses（基础R）或cols_only（readr）跳过不需要的列，能大幅降低内存占用，比加载全量列后再筛选高效得多。

内容的提问来源于stack exchange，提问作者LulY