如何在R中批量导入含论文信息的多个XML文件？

首先确保你已经安装并加载了xml2包，这是处理XML文件的核心工具：

install.packages("xml2")
library(xml2)

方法一：基础循环实现 #

你之前的代码只处理了单个文件，调整循环逻辑就能批量处理所有文件。这里关键是获取完整文件路径并用列表存储每篇论文的节点：

# 获取所有XML文件的完整路径（建议加pattern = ".xml"过滤非XML文件）
file_paths <- list.files("./data", pattern = ".xml", full.names = TRUE)

# 初始化一个空列表，用来存储所有论文的节点
all_articles <- list()

# 循环遍历每个文件
for (i in seq_along(file_paths)) {
  # 读取当前XML文件
  raw_xml <- read_xml(file_paths[i])
  # 提取所有论文节点
  article_nodes <- xml_children(raw_xml)
  # 将当前文件的论文节点添加到总列表中
  all_articles <- c(all_articles, article_nodes)
  
  # 可选：打印进度，避免长时间运行不知道进度
  if (i %% 100 == 0) {
    cat("已处理", i, "个文件\n")
  }
}

这样all_articles里就会包含所有100万篇论文的XML节点，后续你可以用xml_find_first、xml_text等函数提取每篇论文的标题、作者、摘要等信息。

方法二：用purrr包实现更简洁的批量处理 #

如果你熟悉tidyverse生态，purrr的map函数能让代码更简洁高效，避免手动写循环：

# 先加载purrr包
install.packages("purrr")
library(purrr)

file_paths <- list.files("./data", pattern = ".xml", full.names = TRUE)

# 用map读取所有文件并提取论文节点，再flatten成一维列表
all_articles <- map(file_paths, ~xml_children(read_xml(.x))) %>% 
  flatten()

map会自动遍历每个文件路径，执行读取和提取节点的操作，flatten()则把每个文件的节点列表合并成一个大列表，和循环的效果一致，但代码更简洁。

注意事项 #

• 建议在list.files里加上pattern = ".xml"，避免误读其他格式的文件；
• 如果文件很大，批量处理可能需要较多内存，你可以考虑分批次处理，或者在提取节点后直接解析成数据框，减少内存占用；
• 若遇到编码问题，可以在read_xml里指定encoding参数，比如read_xml(file_paths[i], encoding = "UTF-8")。

内容的提问来源于stack exchange，提问作者zara