You need to enable JavaScript to run this app. Selenium+BeautifulSoup爬取OddsPortal赛事数据取值错误问题咨询
优惠活动
大模型
产品
解决方案
定价
更多

Selenium+BeautifulSoup爬取OddsPortal赛事数据取值错误问题咨询

异常根因

原有代码是适配单联赛结果页的,那个页面里country、league是全页固定的全局元数据,直接提取一次就能赋值给所有比赛条目。但OddsPortal当日多赛事汇总页的DOM是分组嵌套结构——国家、联赛信息是跟着赛事分组块走的,没有跨全表的统一表头,每个分组块下面挂着对应联赛的所有比赛。你之前固定取首个匹配到的th标签值给所有比赛赋值,自然全表结果都是第一个赛事的信息。另外你没有区分页面里的tr元素类型,把分组标题行的td内容也混进了比赛字段的提取流程,才会出现日期列错位、对阵和得分字段重复的问题。

代码逻辑改造方案

核心是把“全局一次性取元数据、全表循环套值”的旧逻辑,改成带分组状态跟踪的逐行遍历逻辑,结合你给出的分组元素XPath对应的结构,具体改造步骤:

  • 先定位到id为table-matches的表格节点,提取其tbody下的所有tr子元素,不要一上来就全局匹配所有比赛行直接遍历
  • 初始化current_country、current_league两个临时空变量,用来记录当前遍历位置所属的联赛分组信息
  • 逐行遍历每一个tr元素,先做类型判断分流:
    • 如果当前tr是分组标题行(就是你提到的嵌套了//*[@id="table-matches"]/table/tbody/tr[2]/td[2]/a[2]这类联赛链接的结构):从当前tr的内部节点里提取对应的国家、联赛文本,更新到current_country、current_league临时变量里,这一行本身不是比赛条目,直接跳过比赛数据提取步骤
    • 如果当前tr是正式比赛数据行:直接把临时变量存的国家、联赛值赋值给当前比赛条目,再严格按照行内td的排列顺序,逐位提取日期、对阵双方、比分、赔率等目标字段,存入最终结果列表
  • 因为逐行遍历的时候已经把分组标题行分流出去了,不会把分组行的td内容混进比赛数据的提取流程,从根源上解决日期错位、字段重复取值的问题
上线校验要点
  • 代码跑通后抽样检查跨分组的条目:比如汇总页第二个联赛分组下的第一场比赛,要确认它的country、league字段和页面上展示的分组完全一致,没有沿用第一个分组的取值
  • 不要偷懒用全局find_all()把所有国家、联赛链接抓出来后硬套给全表比赛行,必须建立“当前行所属分组”的状态跟踪机制

内容的提问来源于stack exchange,提问作者PyNoob

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.26 19:36:08