使用RSelenium爬取网页遇超时，无法关闭浏览器窗口求助

1. 修复Chrome配置的语法错误 #

你当前的prefs列表存在语法错误，excludeSwitches的写法不正确，可能导致部分配置失效。修正后的配置如下：

prefs <- list(
  "profile.managed_default_content_settings.images" = 2L,
  "profile.default_content_settings.popups" = 0L
)

cprof <- list(
  chromeOptions = list(
    prefs = prefs,
    w3c = FALSE,
    excludeSwitches = list("disable-popup-blocking"),  # 修正语法错误
    pageLoadStrategy = "eager",  # 改为"eager"加载策略，无需等待所有资源加载完成
    args = list("--disable-extensions", "--no-sandbox")  # 添加提升稳定性的启动参数
  )
)

2. 添加WebDriver超时配置 #

初始化remoteDriver时明确设置超时参数，从源头减少页面长时间挂起的概率：

remDr <- remoteDriver(
  browserName = 'chrome',
  extraCapabilities = cprof,
  port = 4444L,
  timeout = 30000  # 连接超时时间（毫秒），可按需调整
)

# 打开Driver后，额外设置页面加载和脚本超时
remDr$open()
remDr$setTimeout(type = "page load", milliseconds = 60000)  # 页面加载超时60秒
remDr$setTimeout(type = "script", milliseconds = 30000)     # 脚本执行超时30秒

3. 错误处理与强制进程清理 #

当navigate触发超时错误时，RSelenium的连接已失效，无法通过自身命令关闭窗口，需直接从系统层面清理Chrome进程，再重启Driver：

library(RSelenium)

# 定义跨平台清理Chrome进程的函数
clean_chrome_processes <- function() {
  if (.Platform$OS.type == "windows") {
    system("taskkill /F /IM chrome.exe /IM chromedriver.exe", ignore.stdout = TRUE, ignore.stderr = TRUE)
  } else {
    system("pkill -f chrome", ignore.stdout = TRUE, ignore.stderr = TRUE)
    system("pkill -f chromedriver", ignore.stdout = TRUE, ignore.stderr = TRUE)
  }
}

# 封装带错误处理的安全导航逻辑
safe_navigate <- function(remDr, url) {
  tryCatch({
    remDr$navigate(url)
    # 此处添加你的爬取逻辑
  }, error = function(e) {
    if (grepl("reached elapsed time limit", e$message)) {
      # 尝试正常关闭Driver（可能已失效，所以加try）
      try(remDr$quit(), silent = TRUE)
      # 强制清理残留进程
      clean_chrome_processes()
      # 重启Driver并重新设置超时
      remDr$open()
      remDr$setTimeout(type = "page load", milliseconds = 60000)
      remDr$setTimeout(type = "script", milliseconds = 30000)
      # 可选：自动重新尝试导航
      # remDr$navigate(url)
    } else {
      # 抛出其他类型的错误
      stop(e)
    }
  })
}

# 使用示例
remDr$open()
safe_navigate(remDr, "你的目标URL")

4. 日常清理规范 #

每次爬取任务结束后，主动调用remDr$quit()，并配合clean_chrome_processes()函数，彻底清理残留进程，避免窗口堆积拖慢系统。

内容的提问来源于stack exchange，提问作者Mikevoli