使用BeautifulSoup爬取守望先锋联赛赛程页时嵌套div查询返回空列表问题
问题原因分析
你给出的BeautifulSoup调用语法本身没有错误,问题出自以下两个层面:
- 核心原因是目标页面属于客户端动态渲染的单页应用,服务器返回的初始HTML文本中仅包含页面框架代码,你需要的赛程数据是页面加载完成后由JavaScript异步请求接口、再动态插入到DOM中的。你直接用requests拿到的
req.text里根本不存在对应class的div节点,所以find_all返回空列表。 - 第二个潜在问题是你用到的类名
schedule-boardstyles__ContainerCards-j4x5cc-8 jcvNlt是CSS Modules编译生成的带哈希后缀的类名,这类类名会随前端代码打包部署更新而变动,本身就不适合作为稳定的元素定位依据。
可行解决方案
- 优先抓取后台数据接口:打开浏览器开发者工具的「网络」面板,筛选「Fetch/XHR」请求,刷新页面后即可找到返回赛程结构化数据的接口,直接请求该接口获取JSON格式数据,不需要解析DOM,效率和稳定性都更高。
- 若必须解析页面DOM,使用支持JavaScript渲染的工具(如Selenium、Playwright)发起请求,等待页面完全加载、动态内容插入完成后再获取页面源码交给BeautifulSoup解析,此时即可定位到目标节点。
- 定位元素时优先选择更稳定的标识,比如
data-*格式的自定义属性、固定的页面结构层级,避免使用带动态哈希后缀的CSS类名。
内容的提问来源于stack exchange,提问作者user17088544
相关产品推荐
相关产品推荐

