如何在rvest中设置超时？解决read_html(url)无限挂起问题

我之前也碰到过一模一样的问题！尤其是抓取那些偶尔抽风、响应慢的页面时，read_html默认没有超时限制确实会让程序直接挂住，完全没反应。给你几个亲测有效的解决方案，按需选就行：

rvest底层依赖httr发送请求，所以我们可以先手动用httr::GET()设置超时，再把响应传给read_html，这样就能避免无限挂起：

library(rvest)
library(httr)

# 定义一个安全的请求函数，不会因为报错直接终止程序
safe_get <- safely(function(target_url) {
  GET(target_url, timeout(10)) # 设置超时10秒，可根据需求调整
})

# 发送请求
response <- safe_get("你的目标URL")

# 检查请求是否成功
if (!is.null(response$result) && http_status(response$result)$category == "Success") {
  html_content <- read_html(response$result)
  # 这里写你的页面解析逻辑
} else {
  warning("请求超时或失败：", ifelse(is.null(response$error), "未知错误", response$error$message))
}

这个方案的核心是timeout(10)——告诉程序如果10秒内没拿到响应就直接终止，不会一直等下去。safely函数则是用来捕获错误，避免程序直接崩溃。

如果偶尔会出现请求失败的情况，我们可以给请求加上自动重试机制，失败后等几秒再试，直到成功或达到最大重试次数：

library(rvest)
library(httr)

# 自定义带重试和超时的HTML读取函数
read_html_with_retry <- function(target_url, max_retry = 3, timeout_sec = 10, wait_sec = 2) {
  attempt_count <- 1
  
  while (attempt_count <= max_retry) {
    tryCatch({
      # 发送带超时的请求
      response <- GET(target_url, timeout(timeout_sec))
      stop_for_status(response) # 如果响应状态码不对（比如404、500），直接抛出错误
      html_content <- read_html(response)
      
      message(sprintf("第%d次请求成功！", attempt_count))
      return(html_content)
      
    }, error = function(e) {
      message(sprintf("第%d次请求失败：%s", attempt_count, e$message))
      attempt_count <- attempt_count + 1
      
      if (attempt_count > max_retry) {
        stop(sprintf("已达到最大重试次数（%d次），请求最终失败", max_retry))
      }
      
      Sys.sleep(wait_sec) # 重试前等待几秒，避免频繁请求给服务器压力
    })
  }
}

# 使用示例
try({
  my_html <- read_html_with_retry("你的目标URL")
  # 后续解析逻辑
}, error = function(e) {
  message("最终请求失败：", e$message)
})

这个方案既解决了超时问题，又能自动重试，适合那些偶尔会出现网络波动的场景。你可以调整max_retry（最大重试次数）、timeout_sec（超时时间）和wait_sec（重试间隔）来适配你的需求。

如果你习惯直接用curl后端控制请求，也可以用curl包的handle来设置超时：

library(rvest)
library(curl)

# 创建一个带超时设置的curl handle
curl_handle <- new_handle(timeout = 10) # 超时10秒

# 发送请求并读取内容
response <- curl_fetch_memory("你的目标URL", handle = curl_handle)
html_content <- read_html(response$content)

这个方案更底层，适合需要自定义更多curl参数的场景。

内容的提问来源于stack exchange，提问作者Peter.k