You need to enable JavaScript to run this app. 使用requests_html爬取Flashscore足球比赛统计返回空DataFrame的问题咨询
优惠活动
大模型
产品
解决方案
定价
更多

使用requests_html爬取Flashscore足球比赛统计返回空DataFrame的问题咨询

空结果的核心触发原因
  • 动态渲染等待阈值不足:requests_html的arender()方法默认仅等待页面静态资源基础渲染完成,不会等待Flashscore的异步统计接口返回数据,也不会等待JS把统计行节点插入DOM,提前执行元素查找自然返回空列表。
  • 元素选择器已失效:当前版本Flashscore的单场统计行DOM类名早已不是旧版本的statRow,匹配不存在的节点选择器,哪怕页面完全加载也无法捕获任何内容。
  • URL锚点无法触发标签加载:站点内的“比赛统计”标签由JS内部状态控制切换,URL附带的#match-statistics;0锚点不会自动触发标签切换逻辑,默认打开页面渲染的是比赛概览内容,根本不会生成统计板块的DOM节点。
  • 空列表的连锁反应:当find()返回空列表时,后续的遍历循环完全不会执行,初始化的defaultdict从未写入stats键值对,最终传给pd.DataFrame的是空数据结构,自然输出无列名的空表。
可落地的修正方向
  • 调整arender()的加载参数,补充足够的等待时间:比如设置wait=10强制等待10秒让JS完成动态渲染,配合scrolldown=2触发页面懒加载逻辑,保证统计板块的DOM完全生成。
  • 替换失效的硬编码选择器:不要直接绑定旧版的statRow类名,可以通过统计区块的固定文本定位父容器,再提取容器内的行级内容,避免站点改版后选择器直接失效。
  • 补全代码片段遗漏的依赖导入:原代码使用pd但未写入导入语句,需要补充import pandas as pd才能让代码完整运行。
  • 可选优化:在页面渲染阶段触发统计标签的点击事件,强制JS加载统计板块内容后再执行元素提取,进一步提升抓取稳定性。

内容的提问来源于stack exchange,提问作者Tobias

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.05 21:36:07