合并带文件名新列的DataFrame报错：如何识别列数不符文件？

第一步：识别列数不符的文件 #

由于文件体积较大，无需完整读取即可快速排查列数问题，以下代码可批量检查每个文件的表头列数和随机采样行的列数：

# 获取所有目标文件路径
target_files <- list.files(path = "./", pattern = "*.vcf.gz.hg38_multianno.txt", full.names = TRUE)

# 定义检查列数一致性的函数
check_column_consistency <- function(file_path) {
  # 读取表头并计算列数
  header_line <- readLines(file_path, n = 1)
  header_col_count <- length(strsplit(header_line, "\t")[[1]])
  
  # 随机读取10行内容（跳过表头）验证列数
  total_lines <- length(readLines(file_path))
  if (total_lines > 1) {
    sample_line_indices <- sample(2:min(total_lines, 1000), size = 10)
    sample_col_counts <- sapply(sample_line_indices, function(idx) {
      line <- readLines(file_path, n = 1, skip = idx - 1)
      length(strsplit(line, "\t")[[1]])
    })
  } else {
    sample_col_counts <- c(header_col_count)
  }
  
  # 返回结构化检查结果
  data.frame(
    filename = basename(file_path),
    header_columns = header_col_count,
    min_content_columns = min(sample_col_counts),
    max_content_columns = max(sample_col_counts),
    stringsAsFactors = FALSE
  )
}

# 批量执行检查
check_results <- do.call(rbind, lapply(target_files, check_column_consistency))

# 筛选出不符合145列的文件
problem_files <- check_results[check_results$header_columns != 145 | 
                               check_results$min_content_columns != 145 | 
                               check_results$max_content_columns != 145, ]

print(problem_files)

运行后，problem_files数据框会列出所有表头或内容列数不等于145的文件。

第二步：修复合并代码并避免报错 #

原代码的报错主要来自read.table对引号的默认处理导致解析错误，以及合并逻辑不够简洁。推荐使用data.table的fread（更适配大文件）读取，并直接在读取时添加文件名列：

library(data.table)

# 读取并合并所有文件，同时添加文件名列
all_txt <- rbindlist(lapply(target_files, function(file) {
  # 关闭引号解析避免特殊字符干扰，自动填充列数不足的行
  dt <- fread(file, header = TRUE, sep = "\t", encoding = "UTF-8", quote = "", fill = TRUE)
  # 添加记录文件名的列
  dt[, filename := basename(file)]
  return(dt)
}), fill = TRUE)

关键参数说明 #

• quote = ""：关闭引号解析，解决"EOF within quoted string"警告，避免文件中未闭合引号或引号内特殊字符导致的解析错误。
• fill = TRUE：自动填充列数不足的行，避免因个别行列数不符导致程序中断。
• fread：比read.table效率更高，专门针对大体积文本文件优化。

内容的提问来源于stack exchange，提问作者WindSur