如何在R中读取含中间二次表头的文本文件？

针对批量读取TXT文件时，部分文件中间存在6行异常内容导致读取失败的情况，这里提供两种实用的R处理方案：

方法一：按字段数筛选有效行（通用方案） #

利用正则表达式筛选出符合正常数据格式（6个字段，即5个逗号分隔）的行，再用fread读取：

library(data.table)

# 单文件处理示例
all_lines <- readLines("目标文件.txt")
# 筛选包含5个逗号的行（对应6个数据字段）
valid_lines <- all_lines[grepl("^[^,]+,[^,]+,[^,]+,[^,]+,[^,]+,[^,]+$", all_lines)]
# 将筛选后的行转为数据表
dt <- fread(text = paste(valid_lines, collapse = "\n"))

方法二：针对特定异常内容排除（精准方案） #

如果已经明确异常行的特征（比如包含特定文本、单数字行等），可以直接排除这些行：

library(data.table)

all_lines <- readLines("目标文件.txt")
# 排除所有异常特征的行
valid_lines <- all_lines[!grepl("DATA INSTRUMENT NAME|Model 1000|\"Date\",\"Time\"|^1$|^1\\.04,130$|^112346789,", all_lines)]
dt <- fread(text = paste(valid_lines, collapse = "\n"))

批量处理脚本 #

如果需要批量处理多个TXT文件，可以封装成函数：

library(data.table)

process_txt <- function(file_path) {
  all_lines <- readLines(file_path)
  valid_lines <- all_lines[grepl("^[^,]+,[^,]+,[^,]+,[^,]+,[^,]+,[^,]+$", all_lines)]
  if (length(valid_lines) > 0) {
    return(fread(text = paste(valid_lines, collapse = "\n")))
  } else {
    return(data.table()) # 空文件返回空表
  }
}

# 获取所有TXT文件路径
file_list <- list.files(pattern = "\\.txt$", full.names = TRUE)
# 批量处理并合并数据
all_data <- lapply(file_list, process_txt)
combined_data <- rbindlist(all_data, fill = TRUE)

内容的提问来源于stack exchange，提问作者bre123