You need to enable JavaScript to run this app. 如何使用rvest爬取带JS“显示完整列表”按钮的网页完整表格
优惠活动
大模型
产品
解决方案
定价
更多

如何使用rvest爬取带JS“显示完整列表”按钮的网页完整表格

MLB新秀榜全量表格爬取方案

你当前的静态爬取逻辑仅能获取页面初始渲染的10条记录,要拿到全部100条数据,有两种可落地的实现路径,优先选择第一种:

方案1:直接请求后端数据接口(推荐)

页面上“显示完整列表”按钮本质是触发前端调用后端的公开数据接口拉取全量数据,不需要模拟浏览器操作,直接请求接口即可拿到结构化数据,性能远高于渲染方案。
示例代码:

library(httr)
library(jsonlite)
library(tidyverse)

# 发起全量榜单数据请求
resp <- GET(
  "https://www.mlb.com/prospects/api/v1/rankings/current",
  query = list(limit = 100, page = 1)
)

# 解析数据并整理为和原有爬取结果一致的格式
full_prospect_table <- resp %>% 
  content(as = "text", encoding = "UTF-8") %>% 
  fromJSON(flatten = TRUE) %>% 
  pluck("prospects") %>% 
  transmute(
    Rank = rank,
    Player = player_full_name,
    Position = position,
    Team = team_name,
    Level = minor_league_level,
    eta = mlb_eta_year,
    Age = player_age,
    `Height / Weight` = paste0(height, " / ", weight),
    Bats = bats,
    Throws = throws
  )

优势:无页面渲染开销,不会出现元素加载等待问题,返回的字段结构化程度更高,不需要处理表格单元格的冗余符号。

方案2:模拟浏览器交互渲染后爬取

如果不便抓包定位接口,可以通过无头浏览器模拟真实用户操作,触发全量表格加载后再用原有rvest逻辑爬取,示例用chromote实现:

library(chromote)
library(rvest)
library(tidyverse)

# 启动无头Chrome会话
browser <- ChromoteSession$new()

# 打开目标页面
browser$Page$navigate("https://www.mlb.com/prospects")
Sys.sleep(3) # 等待初始页面加载

# 定位并点击"显示完整列表"按钮
expand_btn <- browser$DOM$query_selector("button:contains('显示完整列表')")
browser$DOM$click(expand_btn)
Sys.sleep(5) # 等待全量100行数据渲染到DOM中

# 提取渲染完成的页面内容,用原有逻辑爬取表格
rendered_html <- read_html(browser$Runtime$evaluate("document.documentElement.outerHTML")$result$value)
full_prospect_table <- rendered_html %>% 
  html_node("table") %>% 
  html_table()

# 关闭浏览器会话释放资源
browser$close()

注意事项:

  • 需提前安装Chrome浏览器及对应版本的浏览器驱动
  • 等待时间可根据网络环境调整,避免数据未完全加载就爬取,出现行数不全的问题
  • 如果chromote使用异常,可替换为RSelenium实现,模拟点击的逻辑完全一致

内容的提问来源于stack exchange,提问作者Jazzmatazz

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.28 15:15:04