如何按#HEADER拆分由bind_rows合并的多CSV数据框？

针对你遇到的单个CSV包含多个#HEADER标记分段、表头结构不同的问题，可以通过先按标记拆分单个CSV为多个子DataFrame，再批量处理所有文件的方式解决，具体步骤和代码如下：

核心思路 #

1. 不直接用read_csv读取整个文件，先读取所有行作为纯文本，避免不同表头的行被强制合并
2. 定位所有#HEADER标记的位置，以此为分界拆分出每个独立的分段
3. 对每个分段单独提取表头、读取数据，生成对应结构的DataFrame
4. 批量处理所有CSV文件，统一收集或合并同结构的分段

具体实现代码 #

加载依赖包 #

library(tidyverse)
library(readr)

单个分段CSV处理函数 #

read_segmented_csv <- function(file_path) {
  # 读取所有行，过滤空行和分隔线（假设分隔线以---开头，可根据实际调整）
  all_lines <- read_lines(file_path) %>%
    str_subset("^---$", negate = TRUE) %>%
    str_subset("^$", negate = TRUE)
  
  # 定位所有#HEADER标记的行索引
  header_markers <- str_which(all_lines, "^#HEADER")
  
  # 生成每个分段的行范围：从#HEADER下一行到下一个#HEADER的前一行（或文件末尾）
  segment_ranges <- map2(
    header_markers,
    c(header_markers[-1] - 1, length(all_lines)),
    ~(.x + 1):.y
  )
  
  # 逐个处理每个分段
  map(seq_along(segment_ranges), function(i) {
    current_range <- segment_ranges[[i]]
    # 提取当前分段的表头
    col_names <- str_split(all_lines[current_range[1]], ",")[[1]] %>% str_trim()
    # 提取当前分段的数据行
    data_rows <- all_lines[current_range[-1]]
    
    # 无数据行时返回空DataFrame，避免报错
    if (length(data_rows) == 0) return(tibble())
    
    # 读取数据并添加溯源标识
    read_csv(
      I(data_rows),
      col_names = col_names,
      show_col_types = FALSE
    ) %>%
      mutate(
        source_file = basename(file_path),
        segment_id = i,
        .before = 1
      )
  }) %>%
    # 过滤空的DataFrame
    discard(~nrow(.x) == 0)
}

批量处理多个CSV文件 #

# 替换为你的CSV文件所在路径，匹配所有.csv文件
csv_files <- list.files("your_csv_folder", pattern = "\\.csv$", full.names = TRUE)

# 读取所有文件的所有分段，得到一个包含所有子DataFrame的列表
all_segments <- map(csv_files, read_segmented_csv) %>% flatten()

# 可选：合并同结构的分段（按列名组合分组）
all_segments_with_signature <- map(all_segments, function(df) {
  df %>%
    mutate(col_signature = paste(colnames(df), collapse = ","), .before = 1)
})

merged_by_structure <- all_segments_with_signature %>%
  group_split(col_signature) %>%
  map(~bind_rows(.x))

关键说明 #

• 代码中假设分隔线为---，如果你的分隔线格式不同，可修改str_subset("^---$", negate = TRUE)中的匹配规则
• 每个子DataFrame会自动添加source_file（来源文件名）和segment_id（文件内分段序号），方便后续溯源
• 最后一步的同结构合并是可选操作，如果你不需要合并，直接使用all_segments列表即可

内容的提问来源于stack exchange，提问作者KurtRavn