如何使用rvest爬取带JS“显示完整列表”按钮的网页完整表格
MLB新秀榜全量表格爬取方案
你当前的静态爬取逻辑仅能获取页面初始渲染的10条记录,要拿到全部100条数据,有两种可落地的实现路径,优先选择第一种:
方案1:直接请求后端数据接口(推荐)
页面上“显示完整列表”按钮本质是触发前端调用后端的公开数据接口拉取全量数据,不需要模拟浏览器操作,直接请求接口即可拿到结构化数据,性能远高于渲染方案。
示例代码:
library(httr) library(jsonlite) library(tidyverse) # 发起全量榜单数据请求 resp <- GET( "https://www.mlb.com/prospects/api/v1/rankings/current", query = list(limit = 100, page = 1) ) # 解析数据并整理为和原有爬取结果一致的格式 full_prospect_table <- resp %>% content(as = "text", encoding = "UTF-8") %>% fromJSON(flatten = TRUE) %>% pluck("prospects") %>% transmute( Rank = rank, Player = player_full_name, Position = position, Team = team_name, Level = minor_league_level, eta = mlb_eta_year, Age = player_age, `Height / Weight` = paste0(height, " / ", weight), Bats = bats, Throws = throws )
优势:无页面渲染开销,不会出现元素加载等待问题,返回的字段结构化程度更高,不需要处理表格单元格的冗余符号。
方案2:模拟浏览器交互渲染后爬取
如果不便抓包定位接口,可以通过无头浏览器模拟真实用户操作,触发全量表格加载后再用原有rvest逻辑爬取,示例用chromote实现:
library(chromote) library(rvest) library(tidyverse) # 启动无头Chrome会话 browser <- ChromoteSession$new() # 打开目标页面 browser$Page$navigate("https://www.mlb.com/prospects") Sys.sleep(3) # 等待初始页面加载 # 定位并点击"显示完整列表"按钮 expand_btn <- browser$DOM$query_selector("button:contains('显示完整列表')") browser$DOM$click(expand_btn) Sys.sleep(5) # 等待全量100行数据渲染到DOM中 # 提取渲染完成的页面内容,用原有逻辑爬取表格 rendered_html <- read_html(browser$Runtime$evaluate("document.documentElement.outerHTML")$result$value) full_prospect_table <- rendered_html %>% html_node("table") %>% html_table() # 关闭浏览器会话释放资源 browser$close()
注意事项:
- 需提前安装Chrome浏览器及对应版本的浏览器驱动
- 等待时间可根据网络环境调整,避免数据未完全加载就爬取,出现行数不全的问题
- 如果chromote使用异常,可替换为RSelenium实现,模拟点击的逻辑完全一致
内容的提问来源于stack exchange,提问作者Jazzmatazz
相关产品推荐
相关产品推荐

