RSelenium爬取Airbnb设置超时后详情页仍卡住无法加载如何解决

一、超时参数生效状态判断 #

从你提供的Selenium服务日志可以确认，你配置的超时参数已经生效：

• 日志中存在明确的配置执行记录19:31:00.922 INFO - Executing: [page load wait: 30000])及对应完成日志，说明30秒页面加载超时配置已被服务端正常接收执行
• 10秒隐式等待配置同样有对应执行日志19:31:01.675 INFO - Executing: [implicitly wait: 10000])

你遇到的详情页加载失败问题和超时配置无关，核心原因有两点：

1. 你使用的standalone-firefox:2.53.0是2016年的老旧镜像，和当前Airbnb的现代前端技术栈兼容性极差，页面的懒加载、异步渲染逻辑在老旧火狐版本中无法正常执行，才会出现渲染中途停止的问题
2. 隐式等待仅能控制元素查找的最长等待时间，不会主动判断页面异步资源、JS逻辑是否执行完成，也无法解决兼容性导致的渲染异常问题

二、替代解决方案 #

2.1 首先更新Selenium基础镜像 #

先替换老旧镜像为当前官方维护的版本，解决基础兼容性问题：

# 拉取最新的火狐独立Selenium镜像
docker pull selenium/standalone-firefox:latest
# 启动时分配足够共享内存，避免大页面渲染崩溃
docker run -d -p 4445:4444 --shm-size="2g" selenium/standalone-firefox:latest

2.2 替换固定超时为显式条件等待 #

不要依赖固定时长的超时配置，直接以目标元素加载完成作为等待终止条件，可通过RSelenium的webDriverWait实现：

# 切换到详情页窗口后添加这段逻辑
wait <- webDriverWait(remDr, timeout = 20)

# 等待价格元素加载完成再执行后续操作，最长等待20秒
price_night <- wait$until(function(dr) {
  ele <- dr$findElements(using="css selector","._tyxjp1")
  if(length(ele) > 0) return(ele) else return(FALSE)
})

# 其余元素同理设置显式等待
descrpt <- wait$until(function(dr) {
  ele <- dr$findElements(using="css selector","._tqmy57")
  if(length(ele) > 0) return(ele) else return(FALSE)
})

parking <- wait$until(function(dr) {
  ele <- dr$findElements(using="css selector","._6c4wvw")
  if(length(ele) > 0) return(ele) else return(FALSE)
})

2.3 兜底优化方案 #

如果仍存在渲染不全的问题，可主动触发页面滚动，激活所有懒加载资源的加载逻辑：

# 切换到详情页后先执行滚动操作
remDr$executeScript("window.scrollTo(0, document.body.scrollHeight);")
Sys.sleep(1)
remDr$executeScript("window.scrollTo(0, 0);")

内容的提问来源于stack exchange，提问作者Kyle Chan