You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

使用BeautifulSoup爬取守望先锋联赛赛程页时嵌套div查询返回空列表问题

问题原因分析

你给出的BeautifulSoup调用语法本身没有错误,问题出自以下两个层面:

  • 核心原因是目标页面属于客户端动态渲染的单页应用,服务器返回的初始HTML文本中仅包含页面框架代码,你需要的赛程数据是页面加载完成后由JavaScript异步请求接口、再动态插入到DOM中的。你直接用requests拿到的req.text里根本不存在对应class的div节点,所以find_all返回空列表。
  • 第二个潜在问题是你用到的类名schedule-boardstyles__ContainerCards-j4x5cc-8 jcvNlt是CSS Modules编译生成的带哈希后缀的类名,这类类名会随前端代码打包部署更新而变动,本身就不适合作为稳定的元素定位依据。
可行解决方案
  • 优先抓取后台数据接口:打开浏览器开发者工具的「网络」面板,筛选「Fetch/XHR」请求,刷新页面后即可找到返回赛程结构化数据的接口,直接请求该接口获取JSON格式数据,不需要解析DOM,效率和稳定性都更高。
  • 若必须解析页面DOM,使用支持JavaScript渲染的工具(如Selenium、Playwright)发起请求,等待页面完全加载、动态内容插入完成后再获取页面源码交给BeautifulSoup解析,此时即可定位到目标节点。
  • 定位元素时优先选择更稳定的标识,比如data-*格式的自定义属性、固定的页面结构层级,避免使用带动态哈希后缀的CSS类名。

内容的提问来源于stack exchange,提问作者user17088544

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.09.30 19:06:03