使用rvest爬取网页保存Rdata后加载报错：external pointer is not valid

问题原因 #

read_html()返回的xml_document对象内部包含外部指针，这个指针指向R运行环境之外（C语言层）的DOM解析结构。R的save()函数仅保存指针的内存地址，而非实际的HTML内容或解析后的DOM数据。当你关闭并重启RStudio后，原内存地址已被系统释放，指针失去指向的有效数据，因此触发Error in doc_type(x) : external pointer is not valid错误。

解决方法 #

基于现有本地文件的抢救尝试 #

失效的外部指针无法直接恢复为可用的DOM对象，但部分版本的rvest会在xml_document对象中缓存原始HTML文本，你可以尝试提取这些文本后重新解析：

library(rvest)
load("path.Rdata")

# 尝试从失效对象中提取原始HTML文本
html_text_list <- lapply(list, function(doc) {
  tryCatch(
    expr = as.character(doc),
    error = function(e) NULL # 提取失败则返回NULL
  )
})

# 过滤出提取成功的文本，重新解析为可用的DOM对象
valid_docs <- lapply(Filter(Negate(is.null), html_text_list), read_html)

如果提取失败，说明原始HTML缓存已丢失，只能重新爬取，但可以通过以下方案避免再次出现该问题。

后续正确的爬取与保存方案 #

不要直接保存read_html()返回的解析对象，而是先提取原始HTML文本再保存：

library(rvest)

# 爬取时先获取原始HTML文本
raw_html <- read_html(link) %>% as.character()
list[[i]] <- raw_html

# 保存文本列表
save(list, file = "path.Rdata")

加载文件后，再将文本重新解析为可用的DOM对象：

load("path.Rdata")
parsed_docs <- lapply(list, read_html)

内容的提问来源于stack exchange，提问作者a.sa.5969