如何高效读取多段大文件并合并为带时间步的tibble？

核心思路 #

放弃逐行循环，改用一次性读入所有行 + 分组处理的方式，利用Tidyverse的向量化操作提升效率，同时保持tidy风格的代码逻辑。

实现步骤 #

1. 加载依赖包 #

library(tidyverse)

2. 一次性读入所有行 #

用readr::read_lines()替代base包的readLines()，速度更快且返回向量，方便后续处理：

# 替换为你的文件路径
raw_data <- read_lines("your_lammps_output.lammpstrj") %>%
  enframe(name = "line_idx", value = "content")

3. 标记时间步分组 #

找到所有ITEM: TIMESTEP的起始行，给每一行分配对应的时间步分组ID：

# 定位所有时间步的起始行
timestep_starts <- raw_data %>%
  filter(str_detect(content, "^ITEM: TIMESTEP")) %>%
  pull(line_idx)

# 为每行标记所属的时间步分组
raw_data <- raw_data %>%
  mutate(time_group = findInterval(line_idx, timestep_starts))

4. 定义时间步处理函数 #

编写函数处理单个时间步的内容，提取时间步数值、原子数据，并保留指定列：

process_single_timestep <- function(group_df) {
  # 提取当前时间步的数值
  timestep_val <- group_df %>%
    filter(str_detect(content, "^ITEM: TIMESTEP")) %>%
    slice(1) %>%
    pull(line_idx) %>%
    {group_df %>% slice(. + 1) %>% pull(content)} %>%
    as.integer()
  
  # 获取原子数据的列名（从ITEM: ATOMS行提取）
  atoms_col_line <- group_df %>%
    filter(str_detect(content, "^ITEM: ATOMS")) %>%
    slice(1) %>%
    pull(content)
  atoms_cols <- str_split(atoms_col_line, "\\s+")[[1]][-1] # 剔除开头的ITEM: ATOMS
  
  # 提取并解析原子数据
  atoms_data <- group_df %>%
    filter(line_idx > which(content == atoms_col_line)) %>%
    pull(content) %>%
    paste(collapse = "\n") %>%
    read_table(col_names = atoms_cols) %>% # 用read_table快速解析表格
    mutate(time_step = timestep_val)
  
  # 保留你需要的列，替换为实际需求的列名
  atoms_data %>%
    select(id, x, y, z, time_step)
}

5. 分组处理并合并结果 #

用group_modify()批量处理每个时间步分组，最后合并为单个tibble：

final_result <- raw_data %>%
  group_by(time_group) %>%
  group_modify(~process_single_timestep(.x)) %>%
  ungroup() %>%
  select(-time_group) # 移除临时分组列

效率优化说明 #

• 一次性读入所有行避免了多次IO操作，比逐行读取快得多；
• 利用Tidyverse的向量化分组操作替代循环，大幅提升处理速度；
• 用read_table()解析原子数据，比手动分割字符串更高效且不易出错。

内容的提问来源于stack exchange，提问作者mce1