R语言RSelenium抓取Google Play评论时自动点击Show more按钮的实现方法
Google Play全量评论爬取的RSelenium修正实现
原代码核心问题
- 逻辑拆分错误:将滚动操作与按钮查找操作完全分离,滚动执行1000次后再定位按钮时,动态加载生成的"Show more"按钮已被新渲染的内容移出DOM树,直接触发元素不存在的报错
- 无容错判断:直接调用
findElement查找按钮,一旦元素未完成渲染就会中断整个脚本 - 无终止机制:没有设置页面加载到底的判断条件,脚本无法自动退出循环
循环执行逻辑
整合独立的操作步骤为统一流程,自动运行直到到达评论底部:
- 每轮循环先触发页面向下滚动,等待评论内容动态渲染完成
- 以容错方式检查当前DOM中是否存在"Show more"按钮
- 若存在按钮,先通过JavaScript将按钮滚动到可视区域,再执行点击操作加载更多评论
- 连续3次检测到页面总滚动高度无变化时,判定已加载到评论最底部,自动退出循环
修正后可运行代码
library(RSelenium) library(wdman) # 目标应用评论页面地址 target_url <- 'https://play.google.com/store/apps/details?id=com.nianticlabs.pokemongo&showAllReviews=true' # 启动本地Selenium服务 selCommand <- wdman::selenium( jvmargs = c("-Dwebdriver.chrome.verboseLogging=true"), retcommand = TRUE ) shell(selCommand, wait = FALSE, minimized = TRUE) remDr <- remoteDriver(port = 4567L, browserName = "firefox") remDr$open() # 打开目标页面 remDr$navigate(target_url) Sys.sleep(5) # 等待页面首次加载完成 # 辅助函数:容错检查指定选择器的元素是否存在于DOM中 check_element_exists <- function(remDr, css_selector) { element_res <- tryCatch( remDr$findElements(using = "css selector", value = css_selector), error = function(e) return(list()) ) return(length(element_res) > 0) } # 初始化循环终止判断参数 last_page_height <- 0 unchanged_height_count <- 0 # 启动滚动-点击加载主循环 while(TRUE) { # 触发页面向下滚动 body_elem <- remDr$findElement("css", "body") body_elem$sendKeysToElement(list(key = "end")) Sys.sleep(3) # 定位并点击"Show more"按钮 show_more_selector <- ".RveJvd.snByac" if(check_element_exists(remDr, show_more_selector)) { unchanged_height_count <- 0 more_btn <- remDr$findElement(using = "css selector", value = show_more_selector) # 通过JS将按钮滚动到视口中心,避免视口外点击报错 remDr$executeScript("arguments[0].scrollIntoView({block: 'center'});", list(more_btn)) Sys.sleep(1) more_btn$clickElement() Sys.sleep(3) } # 检测页面高度变化,判断是否到达加载终点 current_height <- remDr$executeScript("return document.body.scrollHeight;")[[1]] if(current_height == last_page_height) { unchanged_height_count <- unchanged_height_count + 1 # 连续3次高度无变化,退出循环 if(unchanged_height_count >= 3) break } else { last_page_height <- current_height } } # 循环结束后即可提取页面中加载完成的全量评论内容
实操注意要点
- 按钮定位选择器
.RveJvd.snByac对应"Show more"按钮的文本节点类名,若后续Google Play更新页面结构,可通过浏览器开发者工具重新核对定位规则 - 滚动后的等待时长建议设置为2-4秒,过短的等待会导致DOM未完成渲染,触发元素查找失败
- 视口外的元素无法直接触发RSelenium点击操作,必须通过滚动操作将元素移动到可视范围后再执行点击
内容的提问来源于stack exchange,提问作者David Perea
相关产品推荐
相关产品推荐

