You need to enable JavaScript to run this app. R语言RSelenium抓取Google Play评论时自动点击Show more按钮的实现方法
优惠活动
大模型
产品
解决方案
定价
更多

R语言RSelenium抓取Google Play评论时自动点击Show more按钮的实现方法

Google Play全量评论爬取的RSelenium修正实现

原代码核心问题

  • 逻辑拆分错误:将滚动操作与按钮查找操作完全分离,滚动执行1000次后再定位按钮时,动态加载生成的"Show more"按钮已被新渲染的内容移出DOM树,直接触发元素不存在的报错
  • 无容错判断:直接调用findElement查找按钮,一旦元素未完成渲染就会中断整个脚本
  • 无终止机制:没有设置页面加载到底的判断条件,脚本无法自动退出循环

循环执行逻辑

整合独立的操作步骤为统一流程,自动运行直到到达评论底部:

  • 每轮循环先触发页面向下滚动,等待评论内容动态渲染完成
  • 以容错方式检查当前DOM中是否存在"Show more"按钮
  • 若存在按钮,先通过JavaScript将按钮滚动到可视区域,再执行点击操作加载更多评论
  • 连续3次检测到页面总滚动高度无变化时,判定已加载到评论最底部,自动退出循环

修正后可运行代码

library(RSelenium)
library(wdman)

# 目标应用评论页面地址
target_url <- 'https://play.google.com/store/apps/details?id=com.nianticlabs.pokemongo&showAllReviews=true'

# 启动本地Selenium服务
selCommand <- wdman::selenium(
  jvmargs = c("-Dwebdriver.chrome.verboseLogging=true"),
  retcommand = TRUE
)
shell(selCommand, wait = FALSE, minimized = TRUE)
remDr <- remoteDriver(port = 4567L, browserName = "firefox")
remDr$open()

# 打开目标页面
remDr$navigate(target_url)
Sys.sleep(5) # 等待页面首次加载完成

# 辅助函数:容错检查指定选择器的元素是否存在于DOM中
check_element_exists <- function(remDr, css_selector) {
  element_res <- tryCatch(
    remDr$findElements(using = "css selector", value = css_selector),
    error = function(e) return(list())
  )
  return(length(element_res) > 0)
}

# 初始化循环终止判断参数
last_page_height <- 0
unchanged_height_count <- 0

# 启动滚动-点击加载主循环
while(TRUE) {
  # 触发页面向下滚动
  body_elem <- remDr$findElement("css", "body")
  body_elem$sendKeysToElement(list(key = "end"))
  Sys.sleep(3)

  # 定位并点击"Show more"按钮
  show_more_selector <- ".RveJvd.snByac"
  if(check_element_exists(remDr, show_more_selector)) {
    unchanged_height_count <- 0
    more_btn <- remDr$findElement(using = "css selector", value = show_more_selector)
    # 通过JS将按钮滚动到视口中心,避免视口外点击报错
    remDr$executeScript("arguments[0].scrollIntoView({block: 'center'});", list(more_btn))
    Sys.sleep(1)
    more_btn$clickElement()
    Sys.sleep(3)
  }

  # 检测页面高度变化,判断是否到达加载终点
  current_height <- remDr$executeScript("return document.body.scrollHeight;")[[1]]
  if(current_height == last_page_height) {
    unchanged_height_count <- unchanged_height_count + 1
    # 连续3次高度无变化,退出循环
    if(unchanged_height_count >= 3) break
  } else {
    last_page_height <- current_height
  }
}

# 循环结束后即可提取页面中加载完成的全量评论内容

实操注意要点

  • 按钮定位选择器.RveJvd.snByac对应"Show more"按钮的文本节点类名,若后续Google Play更新页面结构,可通过浏览器开发者工具重新核对定位规则
  • 滚动后的等待时长建议设置为2-4秒,过短的等待会导致DOM未完成渲染,触发元素查找失败
  • 视口外的元素无法直接触发RSelenium点击操作,必须通过滚动操作将元素移动到可视范围后再执行点击

内容的提问来源于stack exchange,提问作者David Perea

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.08 18:24:06