如何用R的rvest抓取PBPStats动态页面的助攻数据表格？

首先，你的404错误和无法获取目标表格的核心原因是：该页面内容是JavaScript动态渲染的。切换下拉菜单时，页面会通过AJAX异步请求后端API获取对应数据，而非直接刷新页面或修改URL。rvest只能抓取初始静态HTML，无法处理JS动态加载的内容，甚至初始请求可能因网站反爬策略返回404。

下面提供两种可行的解决方案：

方案1：直接调用后端API（推荐） #

通过浏览器开发者工具找到数据接口，绕过前端渲染直接获取原始数据，效率更高：

1. 打开目标页面，按F12打开开发者工具，切换到「Network」标签
2. 在页面顶部下拉菜单选择「助攻」，观察XHR/fetch请求，找到返回表格数据的API（通常是带有get-season-stats或类似关键词的请求）
3. 复制该API的请求URL、请求方法（POST/GET）和参数

假设找到的API是POST请求，参数包含EntityType=Player、EntityId=1630169、StatType=Assists，可以用httr包请求并解析JSON：

library(httr)
library(jsonlite)

# 替换为实际找到的API地址
api_url <- "https://www.pbpstats.com/get-season-stats"

# 构造请求参数
params <- list(
  EntityType = "Player",
  EntityId = "1630169",
  StatType = "Assists", # 对应助攻选项的参数值，需根据实际接口调整
  League = "NBA"
)

# 发送请求，添加User-Agent模拟浏览器
response <- POST(
  api_url,
  body = params,
  encode = "form",
  add_headers("User-Agent" = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36")
)

# 解析JSON数据并转换为数据框
data <- fromJSON(content(response, "text"))$StatsBySeason

方案2：用无头浏览器模拟交互（适合复杂场景） #

如果API参数难以解析，可使用RSelenium模拟浏览器操作，等待页面加载完成后抓取数据：

library(RSelenium)
library(rvest)

# 启动无头Chrome浏览器（需提前安装ChromeDriver并配置环境变量）
driver <- rsDriver(browser = "chrome", chromever = "latest", extraCapabilities = list(
  chromeOptions = list(
    args = c("--headless=new", "--disable-gpu", "--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36")
  )
))
remDr <- driver[["client"]]

# 导航到目标页面
remDr$navigate("https://www.pbpstats.com/season-stats/nba?EntityType=Player&EntityId=1630169")

# 等待页面加载，找到下拉菜单并选择「助攻」（需根据实际元素ID/文本调整）
# 假设下拉菜单的ID是`stat_type_select`，选项文本为「助攻」
remDr$findElement(using = "id", value = "stat_type_select")$clickElement()
remDr$findElement(using = "xpath", value = "//option[text()='助攻']")$clickElement()

# 等待数据加载完成（可根据实际情况调整等待时间）
Sys.sleep(3)

# 获取页面HTML并抓取表格
page_source <- remDr$getPageSource()[[1]]
data <- read_html(page_source) %>% html_node('#div_entity_stats_by_season') %>% html_table()

# 关闭浏览器
remDr$close()
driver$server$stop()

注意事项 #

• 部分网站会对频繁请求进行限制，建议添加请求间隔（Sys.sleep()），并使用真实的User-Agent
• API接口可能会随网站更新变化，若出现请求失败，需重新在开发者工具中确认最新接口参数

内容的提问来源于stack exchange，提问作者HowGoodisData