求助：使用RSelenium触发doPostBack JavaScript抓取多页表格

我之前也碰到过一模一样的问题——这种靠JavaScript __doPostBack 实现分页的表格，静态抓取工具根本拿不到后续页面的数据，用RSelenium确实是解决这类问题的靠谱方案。下面给你一步步拆解具体怎么操作：

1. 初始化RSelenium驱动 #

首先得确保你已经装好RSelenium和对应浏览器的驱动（比如ChromeDriver），然后启动驱动并导航到目标页面：

library(RSelenium)

# 启动Chrome驱动（如果用Firefox就换成firefoxDriver()）
driver <- rsDriver(browser = "chrome", port = 4567L)
remDr <- driver$client

# 导航到目标URL
target_url <- "http://aims.niassembly.gov.uk/plenary/searchresults.aspx?tb=0&tbv=0&tbt=All%20Members&pt=7&ptv=7&ptt=Petition%20of%20Concern&mc=0&mcv=0&mct=All%20Categories&mt=0&mtv=0&mtt=All%20Types&sp=1&spv=0&spt=Tabled%20Between&ss=jc7icOHu4kg=&am..."
remDr$navigate(target_url)

# 给页面留加载时间（也可以用更精准的元素等待，这里先简单用sleep）
Sys.sleep(3)

2. 分析__doPostBack的参数 #

接下来要搞清楚分页按钮对应的__doPostBack参数：

• 打开浏览器开发者工具（F12），找到分页栏里的页码按钮，查看它的onclick属性，你会看到类似这样的代码：

  __doPostBack('ctl00$MainContent$gvResults','Page$2')

• 这里第一个参数是表格控件的ID（比如ctl00$MainContent$gvResults），第二个参数是分页指令（比如Page$2代表跳转到第2页）。你需要确认这个控件ID在目标页面里的真实值，一般通过查看表格的HTML结构就能找到。

3. 循环触发分页并抓取数据 #

接下来写循环，先获取总页数，然后逐个页面触发__doPostBack，抓取每一页的表格数据：

# 先获取总页数（假设分页栏有类似"第1页，共X页"的提示，你需要根据实际页面调整选择器）
page_info <- remDr$findElement(using = "css", value = ".pagination-info")$getElementText()[[1]]
total_pages <- as.numeric(stringr::str_extract(page_info, "\\d+(?=页)")) # 用stringr提取数字，需要先安装这个包

# 初始化空列表存每一页的数据
all_data <- list()

# 循环处理每一页
for (page_num in 1:total_pages) {
  # 等待表格加载完成
  remDr$waitForElement(using = "id", value = "ctl00_MainContent_gvResults", timeout = 10000)
  
  # 抓取当前页的表格
  table_element <- remDr$findElement(using = "id", value = "ctl00_MainContent_gvResults")
  table_html <- table_element$getElementAttribute("outerHTML")[[1]]
  page_data <- rvest::html_table(rvest::read_html(table_html), fill = TRUE)[[1]]
  
  # 把当前页数据加入列表
  all_data[[page_num]] <- page_data
  
  # 如果不是最后一页，触发__doPostBack跳转到下一页
  if (page_num < total_pages) {
    # 构造JS执行代码
    post_back_script <- sprintf("__doPostBack('ctl00$MainContent$gvResults','Page$%d')", page_num + 1)
    # 执行JS
    remDr$executeScript(post_back_script)
    # 等待页面跳转完成
    Sys.sleep(3)
  }
}

# 合并所有页面的数据
final_data <- dplyr::bind_rows(all_data) # 需要dplyr包

4. 收尾工作 #

抓取完成后别忘了关闭驱动：

# 关闭浏览器和驱动
remDr$close()
driver$server$stop()

一些实用提醒 #

• 元素选择器要灵活调整：总页数的提取、表格的ID，可能和我假设的不一样，一定要用开发者工具确认准确的选择器。
• 优化等待逻辑：别一直依赖Sys.sleep，可以用RSelenium的waitForElement或waitForPageLoad来精准等待，避免因网络慢导致抓取失败。
• 注意反爬：如果网站有反爬机制，适当延长等待时间，避免被限制访问。

内容的提问来源于stack exchange，提问作者zoowalk