如何使用R语言的readLines()或read_lines()函数移除TXT文件中的分隔线行与空行

第一步：处理单个文本文件的过滤需求 #

你已经用readLines()读取了文件，接下来只需要添加简单的过滤逻辑，就能移除空行和全是短横线的行：

# 读取文件内容
lines <- readLines("textdata.txt")

# 过滤空行和包含大量短横线的行
# nzchar(lines) 保留非空行
# !grepl("^-{5,}$", lines) 排除开头到结尾都是5个及以上短横线的行
filtered_lines <- lines[nzchar(lines) & !grepl("^-{5,}$", lines)]

# 查看结果
filtered_lines

执行后就能得到你期望的输出：

[1] "TREATMENT DATA" "A: Text1" "B: Text2" "C: Text3" "D: Text4" "E: Text5" "F: Text6" "G: Text7"

第二步：扩展到多个文件并合并为数据框 #

假设你的目标文件夹里都是类似格式的.txt文件，我们可以批量处理并整理成结构化数据框。这里会保留文件名、分组名称，同时把A: Text1这类内容拆分成独立的键值列：

# 先安装需要的包（如果没装过的话）
# install.packages(c("dplyr", "tidyr"))

# 加载工具包
library(dplyr)
library(tidyr)

# 获取目标文件夹下所有txt文件的完整路径
file_paths <- list.files(path = "你的文件夹路径", pattern = "\\.txt$", full.names = TRUE)

# 批量处理每个文件
processed_data <- lapply(file_paths, function(file) {
  # 读取并过滤当前文件内容
  lines <- readLines(file)
  filtered_lines <- lines[nzchar(lines) & !grepl("^-{5,}$", lines)]
  
  # 提取分组名称（第一行内容）
  group_name <- filtered_lines[1]
  # 提取后续的键值对行
  key_value_lines <- filtered_lines[-1]
  
  # 拆分键值对，同时添加文件名和分组信息
  data.frame(
    file_name = basename(file),
    group = group_name,
    key_value = key_value_lines
  ) %>%
    separate(key_value, into = c("key", "value"), sep = ": ", remove = TRUE)
})

# 把所有文件的数据合并成一个统一的数据框
final_df <- bind_rows(processed_data)

# 查看最终的结构化数据
final_df

这段代码会生成一个包含file_name（文件名）、group（分组名称，比如TREATMENT DATA）、key（A/B/C等）、value（Text1/Text2等）的数据框，方便后续的数据分析操作。

内容的提问来源于stack exchange，提问作者TarJae