You need to enable JavaScript to run this app. rvest包使用xpath提取html_node内href返回空值问题求助
优惠活动
大模型
产品
解决方案
定价
更多

rvest包使用xpath提取html_node内href返回空值问题求助

Transfermarkt爬虫提取球队链接空结果的解决方案

核心问题根因

  • xpath定位逻辑错位:原代码定位的是外层div容器节点,这类容器本身不存在href属性;同时使用的是从页面根节点开始的绝对路径,完全依赖div在DOM中的排序序号,极易因为页面动态结构调整、广告位插入、反爬返回的差异化页面内容导致路径完全失效,匹配不到任何有效节点。
  • 未模拟正常浏览器请求特征:直接用read_html()传入URL发起请求时,rvest默认携带的请求头会被Transfermarkt的反爬规则识别,返回的页面内容不包含完整的英超球队列表模块,后续任何xpath规则都无法匹配到目标元素。
  • 节点提取函数使用错误:页面上共有20支英超球队的链接,需要用批量提取的html_nodes()匹配所有目标a标签,而非仅提取单个节点的html_node(),否则即使路径正确也可能因为首节点匹配错位返回空值。

修正后的可运行代码

# 加载依赖包
library(rvest)
library(httr)

# 模拟正常浏览器请求头,绕过基础反爬识别
request_headers <- c(
  "User-Agent" = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"
)

# 发起请求获取网页内容
response <- GET(
  url = "https://www.transfermarkt.com/premier-league/startseite/wettbewerb/GB1",
  add_headers(.headers = request_headers)
)

# 解析HTML内容
page <- read_html(response)

# 用特征稳定的相对xpath定位所有球队对应的a标签
# 规则匹配表格内类名为hauptlink、链接指向球队主页的a节点,不依赖div排序序号
team_href_list <- page %>%
  html_nodes(xpath = '//td[@class="hauptlink"]/a[contains(@href, "/startseite/verein/")]') %>%
  html_attr("href")

# 查看提取结果
head(team_href_list)

实操避坑提示

  • 禁止直接复用浏览器开发者工具拷贝的绝对xpath:这类路径是与当前浏览器加载的DOM结构强绑定的,只要网站前端调整模块顺序、新增内嵌广告位,路径中的div序号就会完全错位。优先选择带固定class属性、href特征关键词的相对路径做匹配,稳定性会大幅提升。
  • 提取属性前先确认目标标签类型:只有<a>标签才会挂载导航用的href属性,普通div、span等容器标签本身不存在该属性,就算定位到正确的容器,直接提取href也会返回空值。
  • 遇到空结果时先打印实际拿到的HTML内容做排查:如果内容中找不到“Premier League”“Club”这类页面核心关键词,说明已经被反爬拦截,需要调整请求头、加入适当的访问延时后再尝试提取。

内容的提问来源于stack exchange,提问作者Mohamed Yusuf

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 14:54:01