在R中高效处理大量XML文件：按属性过滤并提取属性值

核心思路：流式解析避免全量加载 #

用xml2包的流式解析能力，无需将整个XML文档加载进内存，仅针对目标节点进行提取，完美适配大文件批量处理场景。

具体实现步骤 #

1. 安装并加载依赖包 #

install.packages("xml2")
install.packages("purrr")
library(xml2)
library(purrr)

2. 定义单文件提取函数 #

针对单个XML文件，通过XPath精准过滤节点，只提取所需内容：

extract_xml_data <- function(file_path) {
  # 轻量读取XML文档
  doc <- read_xml(file_path)
  
  # 提取<identite>节点内容（若节点含子元素，可按实际结构调整XPath，比如//identite/siren）
  identite_content <- xml_text(xml_find_first(doc, "//identite"))
  
  # 提取liasse节点中code属性为"CF"的m3属性值
  cf_m3_value <- xml_attr(xml_find_first(doc, "//liasse[@code='CF']"), "m3")
  
  # 返回结构化结果
  data.frame(
    文件名 = basename(file_path),
    企业标识 = identite_content,
    CF对应m3值 = cf_m3_value,
    stringsAsFactors = FALSE
  )
}

注：如果存在多个code="CF"的liasse节点，将xml_find_first改为xml_find_all，再用xml_attr批量提取属性值即可。

3. 批量处理所有XML文件 #

假设所有XML文件存放在./xml_assets目录下，批量提取并合并结果：

# 获取所有XML文件路径
xml_file_list <- list.files("./xml_assets", pattern = "\\.xml$", full.names = TRUE)

# 批量提取数据并自动合并为数据框，可开启进度条监控
all_extracted_data <- map_dfr(xml_file_list, extract_xml_data, .progress = TRUE)

# 将结果保存为CSV文件
write.csv(all_extracted_data, "./资产负债表提取结果.csv", row.names = FALSE)

4. 超大型文件优化：底层流式解析 #

如果文件体积极大，可使用xml_event_parse做更底层的流式处理，仅在遇到目标节点时读取数据，完全不加载整份文档：

extract_with_raw_stream <- function(file_path) {
  identite <- NULL
  cf_m3 <- NULL
  
  # 定义节点事件处理逻辑
  node_handler <- function(x, ...) {
    if (xml_name(x) == "identite") {
      identite <<- xml_text(x)
    }
    if (xml_name(x) == "liasse" && xml_attr(x, "code") == "CF") {
      cf_m3 <<- xml_attr(x, "m3")
    }
  }
  
  # 流式解析文档
  xml_event_parse(file_path, handlers = list(startElement = node_handler))
  
  data.frame(
    文件名 = basename(file_path),
    企业标识 = identite,
    CF对应m3值 = cf_m3,
    stringsAsFactors = FALSE
  )
}

# 批量处理超大型文件
all_stream_data <- map_dfr(xml_file_list, extract_with_raw_stream, .progress = TRUE)

注意事项 #

• XPath表达式需匹配你的XML实际结构，若节点有层级嵌套，要补充完整路径（比如//company/identite）
• 若包含多个子节点（如企业编号、名称），可单独提取每个子节点值，扩展数据框列数

内容的提问来源于stack exchange，提问作者Greg Mansio