使用RVEST爬取本地HTML时报xml_find_first错误求助

这个报错看似矛盾（xml_find_first本身就是设计用来处理xml_document类对象的），实际由三类常见原因触发：

• 全量数据集中存在部分格式破损、内容异常的HTML文件，read_html()解析这类文件后生成的xml_document对象结构损坏，无法正常执行XPath查询
• 加载的R包存在命名空间冲突，html_node内部调用的xml_find_first方法来自非xml2的其他包，无法适配rvest生成的xml_document对象
• 旧版本rvest/xml2包存在已知兼容bug，特殊场景下会触发该报错

第一步：优化代码逻辑，新增错误捕获 #

原代码对同一个HTML文件重复解析2次，既降低效率也放大了异常文件的影响。修改为单次解析+错误捕获逻辑，可直接定位出问题的异常文件，同时避免程序直接中断：

library(rvest)
setwd("/directory/Apr")

# 获取所有HTML文件路径，修正正则匹配仅识别后缀为.html的文件
htmlfiles <- list.files(pattern = "\\.html$")

# 单次遍历完成两个字段提取，新增异常捕获
result <- lapply(htmlfiles, function(file) {
  tryCatch({
    # 单个文件仅解析一次
    doc <- read_html(file)
    # 提取canonical链接
    link <- doc %>% 
      html_node(xpath = ".//link[contains(@rel, 'canonical')]") %>% 
      html_attr("href")
    # 提取更新时间
    datetime <- doc %>% 
      html_node(xpath = ".//meta[contains(@property, 'last_updated')]") %>% 
      html_attr("content")
    return(data.frame(file = file, canonical_link = link, last_updated = datetime, stringsAsFactors = FALSE))
  }, error = function(e) {
    # 捕获异常并输出问题文件信息
    message("解析文件出错: ", file, "，错误信息: ", e$message)
    return(data.frame(file = file, canonical_link = NA, last_updated = NA, stringsAsFactors = FALSE))
  })
})

# 合并所有结果为统一数据框
final_df <- do.call(rbind, result)

第二步：排查包冲突与版本问题 #

• 重启R会话，仅加载rvest包后重新运行代码，排除其他包的命名空间冲突
• 若仍报错，更新两个核心包到最新版本：执行install.packages(c("rvest", "xml2"))后重启会话测试

第三步：处理异常文件 #

代码运行后会输出所有解析失败的文件名，可单独打开这类文件检查是否存在内容缺失、格式损坏的问题，根据实际情况选择删除或者单独适配解析逻辑。

内容的提问来源于stack exchange，提问作者MAb2021