R-Selenium执行navigate时网页无限加载报超时错误如何解决

• 首先验证站点访问限制：在服务器本地打开同版本Chrome手动访问目标页面，确认是否出现验证码、访问拦截、加载卡顿等情况。同时检测服务器网络出口是否有变动，IP是否被目标站点限流/封禁，可用curl命令测试页面返回状态码和响应时间。
• 检查驱动匹配状态：错误日志中出现driver.version: unknown提示，可先确认本地的chromedriver是否和指定的96.0.4664.45版本完全匹配，是否存在后台静默更新导致的版本不兼容问题。
• 确认站点资源变化：目标站点近期可能新增了大量异步统计脚本、广告资源、动态渲染逻辑，超出了Selenium默认的加载超时阈值，就算浏览器本身没有更新，也会因为站点侧的变动导致渲染超时。

1. 优化Chrome启动参数，禁用非必要资源 #

通过启动参数减少不必要的资源加载，降低渲染压力：

cprof <- list(
  chromeOptions = list(
    args = c(
      '--headless=new',
      '--disable-gpu',
      '--no-sandbox',
      '--disable-dev-shm-usage',
      '--blink-settings=imagesEnabled=false', # 不需要加载图片可开启
      '--disable-extensions',
      '--disable-plugins',
      '--disable-background-networking',
      '--user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"'
    )
  ),
  pageLoadStrategy = 'eager' # 只要DOM加载完成就返回，无需等待所有异步资源加载完毕
)

chromever = "96.0.4664.45"
rD <-  rsDriver(browser="chrome", port= free_port(), chromever = chromever, extraCapabilities = cprof)
remDr <- rD[["client"]]

2. 自定义超时逻辑，提前终止加载 #

不用等待页面完全加载，只要目标元素出现就继续执行后续逻辑：

# 设置页面加载超时为10秒
remDr$setTimeout(pageLoad = 10000)

# 捕获超时错误，主动停止页面加载
tryCatch({
  remDr$navigate("https://www.theweathernetwork.com/ca/14-day-weather-trend/british-columbia/coquitlam")
}, error = function(e) {
  remDr$executeScript("window.stop();")
})

# 显式等待目标元素出现，最长等待10秒
remDr$waitFor(selector = ".wxCell .wxObs", timeout = 10000)

pageinfo <- read_html(remDr$getPageSource()[[1]])
precipitation <- pageinfo %>% html_nodes(".wxCell .wxObs") %>% html_text()

3. 备选方案 #

如果上述方案仍无法解决，可考虑升级Selenium到正式稳定版，或更换使用webdriver-manager自动管理驱动版本，避免手动指定版本出现的匹配问题。

内容的提问来源于stack exchange，提问作者Coldest