You need to enable JavaScript to run this app. 如何使用Rvest获取未在页面直接显示的最后一页页码
优惠活动
大模型
产品
解决方案
定价
更多

如何使用Rvest获取未在页面直接显示的最后一页页码

解决方法

你之前的代码返回>>是因为.resultPageCurrent是当前页码、跳转按钮共用的类名,总页数没有存在元素文本中,而是藏在「>>」按钮的跳转链接属性里,直接提取该属性的分页参数即可拿到总页数。

所需依赖

确保你安装并加载了rvest和stringr包:

install.packages(c("rvest", "stringr"))
library(rvest)
library(stringr)

代码实现

url <- 'https://www.parl.ca/legisinfo/Home.aspx?Page=1'
page <- read_html(url)

# 定位最后一页跳转按钮的链接属性
last_page_href <- page %>% 
  html_nodes(".resultPageLink:last-child") %>% 
  html_attr("href")

# 提取链接中的页码数值
total_page <- str_extract(last_page_href, "Page=(\\d+)") %>% 
  str_remove("Page=") %>% 
  as.integer()

print(total_page) # 输出结果为328

备用兼容方案

如果页面结构调整导致上述选择器失效,可以提取所有分页链接的页码取最大值,容错性更高:

all_page_nums <- page %>% 
  html_nodes("a[href*='Page=']") %>% 
  html_attr("href") %>% 
  str_extract("Page=(\\d+)") %>% 
  str_remove("Page=") %>% 
  as.integer()

total_page <- max(all_page_nums, na.rm = TRUE)

拿到总页数后,你就可以构造paste0("https://www.parl.ca/legisinfo/Home.aspx?Page=", 1:total_page)生成分页链接列表,用于后续批量爬取。


内容的提问来源于stack exchange,提问作者Tamara

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.08 03:21:03