如何使用Rvest获取未在页面直接显示的最后一页页码
解决方法
你之前的代码返回>>是因为.resultPageCurrent是当前页码、跳转按钮共用的类名,总页数没有存在元素文本中,而是藏在「>>」按钮的跳转链接属性里,直接提取该属性的分页参数即可拿到总页数。
所需依赖
确保你安装并加载了rvest和stringr包:
install.packages(c("rvest", "stringr")) library(rvest) library(stringr)
代码实现
url <- 'https://www.parl.ca/legisinfo/Home.aspx?Page=1' page <- read_html(url) # 定位最后一页跳转按钮的链接属性 last_page_href <- page %>% html_nodes(".resultPageLink:last-child") %>% html_attr("href") # 提取链接中的页码数值 total_page <- str_extract(last_page_href, "Page=(\\d+)") %>% str_remove("Page=") %>% as.integer() print(total_page) # 输出结果为328
备用兼容方案
如果页面结构调整导致上述选择器失效,可以提取所有分页链接的页码取最大值,容错性更高:
all_page_nums <- page %>% html_nodes("a[href*='Page=']") %>% html_attr("href") %>% str_extract("Page=(\\d+)") %>% str_remove("Page=") %>% as.integer() total_page <- max(all_page_nums, na.rm = TRUE)
拿到总页数后,你就可以构造paste0("https://www.parl.ca/legisinfo/Home.aspx?Page=", 1:total_page)生成分页链接列表,用于后续批量爬取。
内容的提问来源于stack exchange,提问作者Tamara
相关产品推荐
相关产品推荐

