如何修改R函数以遍历大型CSV文件至末尾并提取唯一ID

一、自动遍历文件末尾的实现方案 #

核心思路是用while循环分块读取文件，终止条件判断为读取的块行数为0（说明已到文件末尾）。结合data.table的高速读写能力，实现如下：

library(data.table)

find_unique_ids <- function(file_path, chunk_size = 1e6, output_file = "unique_ids.csv") {
  skip_rows <- 1  # 跳过表头行
  # 用环境模拟哈希表，高效实现ID去重
  id_hash <- new.env(hash = TRUE, parent = emptyenv())
  
  while(TRUE) {
    # 仅读取首列，大幅降低单块内存占用
    chunk <- fread(file_path, skip = skip_rows, nrows = chunk_size, select = 1, header = FALSE)
    current_rows <- nrow(chunk)
    
    # 终止条件：读取到空块，说明文件已遍历完成
    if(current_rows == 0) break
    
    # 将当前块的ID存入哈希表（自动去重）
    lapply(chunk[[1]], function(id) id_hash[[as.character(id)]] <- TRUE)
    
    # 更新下一次读取的起始行位置
    skip_rows <- skip_rows + current_rows
  }
  
  # 将哈希表中的唯一ID写入输出文件
  unique_ids <- data.table(id = names(id_hash))
  fwrite(unique_ids, output_file)
  
  message("提取完成，结果已保存至: ", output_file)
}

# 调用示例
find_unique_ids("large_data.csv", chunk_size = 2e6)

关键细节说明： #

• 用fread的select = 1参数只读取首列，避免加载不必要的列数据
• 用环境（哈希表）存储ID，比向量合并去重效率更高，插入和查找操作均为O(1)复杂度
• 每次循环检查nrow(chunk)是否为0，为空则直接跳出循环，无需提前知晓文件总行数

二、效率优化建议 #

• 调整chunk_size参数：根据可用内存灵活调整，内存充足时设大值（如2e6-5e6行）减少循环次数；内存紧张时设小值（如5e5行）避免溢出
• 优先使用data.table：fread/fwrite的读写速度远快于dplyr依赖的readr，分块处理效率更高
• 避免内存累计：不要将所有唯一ID存储在内存向量中，用哈希表或分阶段写入临时文件的方式，降低内存峰值
• 系统命令辅助（可选）：如果在Linux/macOS环境下，直接用系统命令处理速度远超R：

  # 提取首列并去重
  cut -d',' -f1 large_data.csv | sort -u > unique_ids.csv
  

  该命令基于C语言实现，处理超大型文件的效率比R高一个数量级，适合无需后续R处理的场景

内容的提问来源于stack exchange，提问作者dominik hauser