You need to enable JavaScript to run this app. 如何从英超官网懒加载页面提取全部href链接?
优惠活动
大模型
产品
解决方案
定价
更多

如何从英超官网懒加载页面提取全部href链接?

问题原因

你当前的代码只能拿到第一页链接,是因为英超官网的球员列表属于动态渲染内容,只有第一页数据会在页面首次加载时写入HTML,后续翻页/滚动加载的数据都是异步请求渲染的,不会出现在初始请求的响应内容里,你用requests直接请求首页返回的内容仅包含第一页球员的列表信息,解析出来的href自然只有第一页的链接。

可行解决方案

方案1:调用异步数据接口(最高效)

  • 打开浏览器开发者工具的「网络」面板,筛选XHR/ fetch类型的请求,手动触发翻页/滚动加载下一页球员数据,找到返回球员列表信息的后台接口
  • 观察接口的请求参数,一般包含页码、每页返回数量、赛季标识等字段,你可以直接将每页返回数量调整为总球员数,或者循环遍历所有页码发起请求,即可直接拿到全量球员的页面路径,拼接域名前缀就能得到完整链接
  • 注意在requests请求中携带浏览器对应的请求头信息,比如User-Agent、必要的校验字段等,即可正常拿到返回数据,完全不需要处理前端广告、渲染等问题。

方案2:优化Selenium逻辑跳过广告

如果必须使用Selenium模拟浏览器操作,可以增加以下处理逻辑:

  • 启动浏览器时添加屏蔽弹窗、最大化窗口等启动参数,减少广告弹窗出现的概率
  • 加入显式等待逻辑,每次页面加载完成后,先定位广告弹窗的关闭按钮,自动点击关闭后再执行后续的元素定位、翻页操作
  • 对于懒加载的列表,每次滚动到页面底部后等待新数据渲染完成,再提取对应href属性,直到没有新的列表数据加载为止。

方案3:模拟翻页请求适配现有代码

如果不想大改现有逻辑,可以调整代码适配翻页规则:

  • 先从初始页面提取总页数或者翻页请求的参数规则
  • 循环构造每一页的请求,携带对应的翻页参数,逐页解析HTML提取a标签的href属性,汇总后即可得到全量链接。

内容的提问来源于stack exchange,提问作者Stackcans

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.11 15:42:02