R语言rvest爬取嵌套链接数据时遇xml_find_first方法错误求助

问题描述 #

R语言新手尝试从初始URL爬取嵌套在多层链接中的数据表，运行代码时出现错误："no applicable method for 'xml_find_first' applied to an object of class 'character'"，已尝试多种方案仍未解决，怀疑网站限制或代码存在问题。

核心错误原因 #

代码存在三个关键问题：

• 混淆文本数据与HTML节点：html_table()提取的是纯文本表格，table_data$Name[i]是字符串而非HTML节点，无法直接用html_node()解析链接。
• 混用不同包的HTML对象：同时使用rvest和XML包处理页面，htmlParse()返回的XML对象不兼容rvest的html_node()方法，导致类型错误。
• 文件名非法风险：直接用含HTML标签的字符作为文件名，会导致文件保存失败。

修正后的代码 #

library(rvest)
library(httr)

# 初始URL
initial_url = "https://www.ncwater.org/?page=537&tl=1&inactive=n"
initial_page = read_html(initial_url)

# 提取带链接的Name列节点（保留HTML结构，而非纯文本表格）
name_nodes = initial_page |>
  html_elements("table tr td:first-child a")  

for (node in name_nodes) {
  # 提取站点纯文本名称，用于生成合法文件名
  site_name = node |> html_text(trim = TRUE)
  # 提取第一个嵌套页面的链接
  first_link = node |> html_attr("href")
  
  # 加载第一个嵌套页面
  first_page = read_html(first_link)
  # 定位"Download WQ Data"对应的链接节点
  download_link_node = first_page |>
    html_element(xpath = "//a[contains(text(), 'Download WQ Data')]")
  
  if (!is.na(download_link_node)) {
    download_link = download_link_node |> html_attr("href")
    
    # 加载下载页面，提取最终文本文件链接
    download_page = read_html(download_link)
    text_file_link = download_page |>
      html_element("a") |> html_attr("href")
    
    # 处理文件名，替换非法字符
    safe_filename = gsub("[^a-zA-Z0-9_.-]", "_", site_name)
    # 下载并保存文本文件
    text_file = GET(text_file_link)
    writeBin(content(text_file, "raw"), paste0(safe_filename, ".txt"))
    cat("已完成保存:", paste0(safe_filename, ".txt"), "\n")
  }
}

关键修改说明 #

• 保留HTML结构提取：直接从初始页面定位Name列的链接节点，避免html_table()丢失链接信息。
• 统一使用rvest包：全程用rvest的read_html()处理页面，消除不同包对象不兼容的问题。
• 安全文件名处理：用gsub()替换站点名称中的非法字符，确保文件可正常保存。
• 简化循环逻辑：直接遍历链接节点，无需依赖表格行数，代码逻辑更清晰。

内容的提问来源于stack exchange，提问作者Conner