使用requests_html爬取Flashscore足球比赛统计返回空DataFrame的问题咨询
空结果的核心触发原因
- 动态渲染等待阈值不足:
requests_html的arender()方法默认仅等待页面静态资源基础渲染完成,不会等待Flashscore的异步统计接口返回数据,也不会等待JS把统计行节点插入DOM,提前执行元素查找自然返回空列表。 - 元素选择器已失效:当前版本Flashscore的单场统计行DOM类名早已不是旧版本的
statRow,匹配不存在的节点选择器,哪怕页面完全加载也无法捕获任何内容。 - URL锚点无法触发标签加载:站点内的“比赛统计”标签由JS内部状态控制切换,URL附带的
#match-statistics;0锚点不会自动触发标签切换逻辑,默认打开页面渲染的是比赛概览内容,根本不会生成统计板块的DOM节点。 - 空列表的连锁反应:当
find()返回空列表时,后续的遍历循环完全不会执行,初始化的defaultdict从未写入stats键值对,最终传给pd.DataFrame的是空数据结构,自然输出无列名的空表。
可落地的修正方向
- 调整
arender()的加载参数,补充足够的等待时间:比如设置wait=10强制等待10秒让JS完成动态渲染,配合scrolldown=2触发页面懒加载逻辑,保证统计板块的DOM完全生成。 - 替换失效的硬编码选择器:不要直接绑定旧版的
statRow类名,可以通过统计区块的固定文本定位父容器,再提取容器内的行级内容,避免站点改版后选择器直接失效。 - 补全代码片段遗漏的依赖导入:原代码使用
pd但未写入导入语句,需要补充import pandas as pd才能让代码完整运行。 - 可选优化:在页面渲染阶段触发统计标签的点击事件,强制JS加载统计板块内容后再执行元素提取,进一步提升抓取稳定性。
内容的提问来源于stack exchange,提问作者Tobias
相关产品推荐
相关产品推荐

