R语言网页爬取循环如何实现遇错不中断并自动填充NA值

用R内置的tryCatch()做全流程错误捕获即可，无需提前手动筛选有效链接，遇到访问失败、解析报错的场景会自动在对应位置插入NA占位，不会中断整体循环。

可直接运行的修改后代码如下：

# 加载依赖包
library(rvest)
library(dplyr)

# 初始化结果列表，长度和原始链接数完全一致，保证结果顺序和链接一一对应
total_num <- length(links)
results <- vector(mode = "list", length = total_num)

for (i in seq_along(links)) {
  results[[i]] <- tryCatch({
    # 单条链接的正常爬取解析逻辑
    current_url <- links[i]
    page <- read_html(current_url)
    node_block <- page %>% html_nodes("div.one_third")
    
    # 兜底判断：如果页面没有匹配到目标节点，直接触发错误走NA占位逻辑
    if (length(node_block) == 0) stop("target node not exist")
    
    text_list <- node_block %>% html_text() %>% strsplit("\\n")
    max_col <- max(sapply(text_list, length))
    
    # 补全不等长字段
    processed_df <- do.call(
      rbind,
      lapply(text_list, \(x) {
        if (length(x) == max_col) x else c(x, rep(NA, max_col - length(x)))
      })
    )
    data.frame(processed_df)
  },
  # 所有报错场景统一走该分支，返回NA占位
  error = function(err) {
    message(paste0("第", i, "条链接处理失败，已插入NA占位，链接：", links[i]))
    NA
  })
  # 打印实时进度，无需每次输出全量结果
  cat(sprintf("处理进度：%d/%d\n", i, total_num))
}

关键优化点 #

• 错误捕获覆盖从页面请求、节点匹配到数据框生成的全流程，不管是链接无法访问、页面结构变动找不到目标节点、还是数据拼接时出现行列数不匹配的报错，都会被拦截，不会中断整个循环
• 用seq_along(links)替代原来的1:length写法，避免链接列表为空时出现索引错误
• 结果列表提前初始化固定长度，爬取成功的位置存解析好的数据框，失败的位置存NA，和原始链接顺序完全对应，不需要事后手动对齐
• 出错时会打印失败链接的索引和地址，后续需要补爬数据时可以直接定位

内容的提问来源于stack exchange，提问作者stats_noob