使用RSelenium多次导航时出现netTimeout超时错误求助

问题重现 #

使用RSelenium配合selenium-standalone-firefox Docker镜像时，首次调用navigate方法可正常加载页面，但第二次调用必然触发netTimeout错误，即使手动增加各类超时设置也无法解决，重启浏览器后可再次正常导航一次。

可能的解决方法 #

1. 添加请求延迟，规避网站反爬限制 #

目标网站可能对短时间内的频繁请求做了拦截，模拟人工操作间隔，在两次导航之间添加随机延迟：

# 首次导航
url <- "https://investors.alvotech.com/news-events/news-releases?page=1"
remDr$navigate(url)

# 添加3-8秒的随机延迟
Sys.sleep(sample(3:8, 1))

# 第二次导航
url <- "https://investors.alvotech.com/news-events/news-releases?page=2"
remDr$navigate(url)

2. 自定义Firefox配置，调整网络参数 #

通过Firefox配置文件修改网络超时、禁用缓存，避免会话状态干扰：

# 创建Firefox配置文件
fp <- RSelenium::makeFirefoxProfile(list(
  network.http.connection-timeout = 60,       # 连接超时60秒
  network.http.response.timeout = 60,         # 响应超时60秒
  browser.cache.disk.enable = FALSE,          # 禁用磁盘缓存
  browser.cache.memory.enable = FALSE         # 禁用内存缓存
))

# 初始化驱动时加载配置
remDr <- RSelenium::remoteDriver(
  remoteServerAddr = "localhost", 
  port = 4446L, 
  browserName = "firefox",
  extraCapabilities = fp
)
remDr$open()

3. 使用新标签页进行导航 #

避免重复使用同一标签页的会话状态，每次导航前打开新标签并切换：

# 首次导航到page1
url1 <- "https://investors.alvotech.com/news-events/news-releases?page=1"
remDr$navigate(url1)

# 打开新标签页
remDr$executeScript("window.open();")
# 获取所有窗口句柄，切换到第二个窗口
handles <- remDr$getWindowHandles()
remDr$switchToWindow(handles[[2]])

# 在新标签页导航到page2
url2 <- "https://investors.alvotech.com/news-events/news-releases?page=2"
remDr$navigate(url2)

4. 调整Docker容器网络设置 #

将容器切换为host网络模式，避免容器内网络请求被宿主机防火墙或网络NAT限制：

# 先停止旧容器
docker stop selenium-standalone-firefox
# 用host网络模式启动新容器
docker run -d --network host --name selenium-standalone-firefox selenium/standalone-firefox:latest

5. 更新Selenium镜像与RSelenium版本 #

旧版本可能存在会话管理bug，更新到最新版本：

• 拉取最新Selenium镜像：docker pull selenium/standalone-firefox:latest
• 更新RSelenium包：install.packages("RSelenium")

内容的提问来源于stack exchange，提问作者Frank