使用rvest解析含HTML/非HTML的chr列报错，寻求解决方法

问题场景 #

数据框df的body列是字符类型，同时包含HTML内容和纯文本内容，需求是将含HTML的行转为解析后的纯文本，非HTML行保持原样。原代码运行时报错：

Error in UseMethod("xml_text") : no applicable method for 'xml_text' applied to an object of class "xml_document"

错误原因 #

read_html()返回的是xml_document类对象，而html_text()默认需要传入具体的HTML节点（比如<body>内的内容），直接传入整个文档对象会触发方法不匹配的错误。

修正后的代码 #

基础修复版（保留原循环逻辑） #

# 假设数据框为df，目标列名为body
df$clean_body <- NA

for (i in 1:nrow(df)) {
  if (!is.na(df$body[i])) {
    # 检查内容是否包含HTML标签
    if (grepl("<.*?>", df$body[i])) {
      # 先解析HTML，选中body节点后再提取文本
      df$clean_body[i] <- read_html(df$body[i]) %>% 
        html_element("body") %>% 
        html_text(trim = TRUE)
    } else {
      df$clean_body[i] <- df$body[i]
    }
  }
}

高效优化版（用purrr替代循环） #

R中循环处理数据框效率较低，推荐用purrr::map_chr()批量处理：

library(rvest)
library(purrr)

# 定义单条内容的处理函数
clean_html_text <- function(text) {
  if (is.na(text)) {
    return(NA_character_)
  }
  if (grepl("<.*?>", text)) {
    read_html(text) %>% 
      html_element("body") %>% 
      html_text(trim = TRUE)
  } else {
    text
  }
}

# 批量生成清洗后的列
df$clean_body <- map_chr(df$body, clean_html_text)

补充说明 #

• html_element("body")用于选中HTML文档的<body>节点，确保提取的是页面主体文本；
• trim = TRUE可自动去除文本前后的空白字符，让结果更整洁；
• 如果你的HTML片段没有<body>标签，可改用html_nodes("*")选中所有节点再提取文本。

内容的提问来源于stack exchange，提问作者lp2437