如何从英超官网懒加载页面提取全部href链接?
问题原因
你当前的代码只能拿到第一页链接,是因为英超官网的球员列表属于动态渲染内容,只有第一页数据会在页面首次加载时写入HTML,后续翻页/滚动加载的数据都是异步请求渲染的,不会出现在初始请求的响应内容里,你用requests直接请求首页返回的内容仅包含第一页球员的列表信息,解析出来的href自然只有第一页的链接。
可行解决方案
方案1:调用异步数据接口(最高效)
- 打开浏览器开发者工具的「网络」面板,筛选XHR/ fetch类型的请求,手动触发翻页/滚动加载下一页球员数据,找到返回球员列表信息的后台接口
- 观察接口的请求参数,一般包含页码、每页返回数量、赛季标识等字段,你可以直接将每页返回数量调整为总球员数,或者循环遍历所有页码发起请求,即可直接拿到全量球员的页面路径,拼接域名前缀就能得到完整链接
- 注意在requests请求中携带浏览器对应的请求头信息,比如
User-Agent、必要的校验字段等,即可正常拿到返回数据,完全不需要处理前端广告、渲染等问题。
方案2:优化Selenium逻辑跳过广告
如果必须使用Selenium模拟浏览器操作,可以增加以下处理逻辑:
- 启动浏览器时添加屏蔽弹窗、最大化窗口等启动参数,减少广告弹窗出现的概率
- 加入显式等待逻辑,每次页面加载完成后,先定位广告弹窗的关闭按钮,自动点击关闭后再执行后续的元素定位、翻页操作
- 对于懒加载的列表,每次滚动到页面底部后等待新数据渲染完成,再提取对应href属性,直到没有新的列表数据加载为止。
方案3:模拟翻页请求适配现有代码
如果不想大改现有逻辑,可以调整代码适配翻页规则:
- 先从初始页面提取总页数或者翻页请求的参数规则
- 循环构造每一页的请求,携带对应的翻页参数,逐页解析HTML提取a标签的href属性,汇总后即可得到全量链接。
内容的提问来源于stack exchange,提问作者Stackcans
相关产品推荐
相关产品推荐

