R语言RSelenium爬取BLS无超链接CSV按钮的版本匹配与卡顿问题
R语言模拟爬取BLS站点CPI数据问题排查
场景说明
- 目标数据来源:BLS数据查看器
- 实现逻辑:站点导出CSV的按钮无固定关联下载链接,因此计划通过RSelenium模拟页面点击动作完成CPI数据下载
- 流程卡点:先后出现驱动版本不匹配报错、页面导航环节流程中断的问题
已暴露的问题细节
1. 驱动创建阶段版本不匹配报错
初始代码传入chromever = "88.0.4324.150"参数创建驱动时,直接触发版本校验报错,提示当前RSelenium可支持的Chrome驱动版本为88.0.4324.27、88.0.4324.96、89.0.4389.23,列表内无用户传入的版本号。
原始触发报错的代码片段:
library(RSelenium) library(here) url <- "https://beta.bls.gov/dataViewer/view" button_id <- "csvclickCU" filename <- "CPU.csv" download_location <- getwd() driver <- rsDriver( browser = "chrome", chromever = "88.0.4324.150" )
2. 更换适配版本后导航环节卡壳
从报错提示的可用版本列表中挑选对应版本传入驱动参数后,代码可正常创建driver对象,但执行到页面导航步骤时流程无响应,无法继续后续的按钮点击操作。
卡壳位置的代码片段:
server <- driver$server browser <- driver$client buttons <- list() browser$navigate(url)
可落地的调整方案
- 解决驱动版本不匹配问题
- 直接移除
chromever参数,让rsDriver自动检测本机安装的Chrome浏览器版本,拉取匹配的对应驱动,避免手动指定版本和程序可用列表错位 - 如果必须手动指定版本,优先核对本机Chrome的大版本号,从报错提示的可用版本列表中选取完全匹配的版本号传入,不要使用列表外的版本值
- 直接移除
- 解决导航环节卡壳问题
卡壳本质是浏览器安全策略、下载弹窗拦截、页面加载超时导致的,需要在创建driver对象时就提前做好参数配置,不要等驱动初始化完成后再补设置:- 提前配置Chrome的下载偏好,指定默认下载路径为工作目录,关闭下载确认弹窗、允许站点弹窗内容加载
- 禁用浏览器扩展插件、设置页面加载超时阈值,避免插件拦截、站点响应慢导致流程永久阻塞
- 页面导航时不要提前初始化空的按钮列表,等页面完全加载完成后再定位操作元素
参考调整后的驱动初始化代码:
# 预配置浏览器参数 eCaps <- list( chromeOptions = list( prefs = list( "download.default_directory" = getwd(), "download.prompt_for_download" = FALSE, "profile.default_content_settings.popups" = 0 ), args = c("--disable-extensions", "--page-load-strategy=normal") ) ) # 不手动指定驱动版本,自动匹配 driver <- rsDriver( browser = "chrome", port = sample(4000:5000, 1), extraCapabilities = eCaps )
- 后续操作注意事项
页面导航完成后,可通过browser$findElement(using = "id", value = "csvclickCU")定位到CSV导出按钮,模拟点击后等待文件下载完成,再将默认下载的文件重命名为目标文件名CPU.csv即可。
内容的提问来源于stack exchange,提问作者user8304241
相关产品推荐
相关产品推荐

