使用R语言rvest库爬取Math Stack Exchange时报HTTP 404错误如何解决

核心问题原因 #

404错误本质是生成的问题链接存在无效地址，触发原因如下：

• 选择器未限定范围：直接用.question-hyperlink会匹配页面所有带该类的元素，包括侧边栏相关问题、站内跳转链接等，部分相对路径拼接后会变成无效地址。
• 手动拼接链接容错性差：遇到特殊格式的相对路径时，直接拼接域名容易生成错误地址。
• 缺少异常捕获：单个无效链接就会导致整个任务中断，无法跳过错误继续执行。

修复后代码 #

library(rvest)
library(xml2)

# 目标标签页链接
link <- "https://math.stackexchange.com/questions/tagged/integration"
page_content <- read_html(link) 

# 限定选择器在问题列表区域，仅抓取当前页有效问题链接
questions_link <- page_content %>% 
  html_nodes(".s-post-summary .question-hyperlink") %>% 
  html_attr("href") %>% 
  # 自动转绝对路径，替代手动拼接，容错性更高
  url_absolute(link)

# 增加异常处理和请求延迟
get_answer = function(answer_link){
  # 每次请求加1.5秒延迟，避免触发反爬
  Sys.sleep(1.5)
  # 异常捕获，遇到404等错误直接返回空值，不中断整体运行
  tryCatch({
    answer_page <- read_html(answer_link)
    solution = answer_page %>% html_nodes(".accepted-answer") %>% html_text() 
    # 没有采纳答案时返回空字符串
    return(ifelse(length(solution) == 0, "", solution))
  }, error = function(e) {
    message(paste("链接读取失败：", answer_link, "错误信息：", e$message))
    return("")
  })
}

solution_accepted <- sapply(questions_link, FUN = get_answer)

额外注意事项 #

• Stack Exchange公开接口有请求频率限制，不要短时间发起大量请求，避免IP被临时封禁。
• 无采纳答案的问题会返回空字符串，后续处理时可以自行过滤。

内容的提问来源于stack exchange，提问作者Sachin