如何在R中合并首尾结构特殊的多个文本文件并插值时间戳？

我尝试将多个文本文件合并为一个数据集，但每个文件的前几行和最后几行数据结构和主体部分不同，另外还需要把每个文件末尾的时间戳插值到整个数据集中。导入数据时遇到了问题，我写的代码如下：

file_list <- list.files()
for (file in file_list) {
    # if the merged dataset doesn't exist, create it
    if (!exists('dataset')) {
        dataset <- read.table(file, sep = ';', skip = 6, nrow = length(readLines(file)) - 4 -6)
    }
    # if the merged dataset does exist, append to it
    if (exists('dataset')) {
        temp_dataset <- read.table(file, sep = ';', skip = 6, nrow = length(readLines(file)) - 4 - 6)
        dataset <- rbind(dataset, temp_dataset)
        rm(temp_dataset)
    }
}

运行后弹出了错误：

Error in rbind(deparse.level, ...) : numbers of columns of arguments do not match

请问该怎么解决这个问题？

这个错误的核心是不同文件读取后的数据集列数不一致，导致rbind无法完成合并。我们可以分步骤解决列数问题，同时兼顾时间戳插值的需求：

1. 先排查并解决列数不匹配问题 #

首先别急着合并，先逐个检查每个文件读取后的列数，定位异常文件：

# 建议指定文件后缀，避免读取无关文件
file_list <- list.files(pattern = "\\.txt$") 
col_counts <- c()

for (file in file_list) {
  total_lines <- length(readLines(file))
  # 读取主体数据，fill=TRUE自动填充缺失列，避免单行分隔符异常导致列数突变
  temp_data <- read.table(file, sep = ';', skip = 6, nrow = total_lines - 10, header = FALSE, fill = TRUE)
  col_counts <- c(col_counts, ncol(temp_data))
  cat(file, "的列数：", ncol(temp_data), "\n")
}

# 查看所有文件的列数分布
table(col_counts)

另外要确认你的行数计算逻辑：length(readLines(file)) -4 -6是跳过前6行，取总行数减10行的内容，要保证所有文件的无效末尾行数都是4行，如果有的文件末尾无效行数不同，就会读取到错误的行，导致列数混乱。

2. 提取时间戳并插值到数据集 #

假设每个文件末尾的时间戳在最后几行，我们可以先提取时间戳，再插值到主体数据的每一行：

# 初始化空数据集
dataset <- data.frame()

for (file in file_list) {
  lines <- readLines(file)
  total_lines <- length(lines)
  
  # 1. 提取末尾时间戳（这里假设最后一行是时间戳，根据你的实际格式调整）
  timestamp_line <- lines[total_lines]
  # 解析时间戳，格式根据你的实际数据修改
  timestamp <- as.POSIXct(strsplit(timestamp_line, ";")[[1]][[2]], format = "%Y-%m-%d %H:%M:%S")
  
  # 2. 读取主体数据（直接用已读入的lines，比重新读文件更高效）
  temp_data <- read.table(text = paste(lines[7:(total_lines-4)], collapse = "\n"), 
                          sep = ';', header = FALSE, fill = TRUE)
  
  # 3. 插值时间戳：假设文件第2行是起始时间，生成线性插值的时间序列
  start_time_line <- lines[2]
  start_time <- as.POSIXct(strsplit(start_time_line, ";")[[1]][[2]], format = "%Y-%m-%d %H:%M:%S")
  temp_data$timestamp <- seq(start_time, timestamp, length.out = nrow(temp_data))
  
  # 4. 安全合并：确保当前文件列数和总数据集一致再合并
  if (nrow(dataset) == 0 || ncol(temp_data) == ncol(dataset)) {
    dataset <- rbind(dataset, temp_data)
  } else {
    cat("跳过文件", file, "：列数与总数据集不一致\n")
  }
}

3. 额外优化建议 #

• 给read.table明确指定header=FALSE（如果主体数据没有表头），避免自动把第一行当成表头导致列数变化
• 加入错误捕获机制，防止单个文件处理失败中断整个循环：

for (file in file_list) {
  tryCatch({
    # 这里放读取和处理文件的代码
  }, error = function(e) {
    cat("处理文件", file, "时出错：", e$message, "\n")
  })
}

内容的提问来源于stack exchange，提问作者shaalboom