使用BeautifulSoup解析ATP评分网页时无法提取指定玩家对应单行tr元素
问题实际成因
- 缩进错位引发执行逻辑偏差:将
print(row)移入try块时,如果误把print的代码层级提到匹配if判断的外部,只要try块内的代码没有抛出TypeError,就会无条件执行print。此时因为匹配条件永远无法触发,break逻辑不会执行,最终会打印所有能通过try块检查的行。 - 匹配条件完全失效:目标站点的选手链接(href属性)仅存储选手姓氏的拼音与ID后缀,不存在选手名"Novak"的字符串,因此
player_name in row.a["href"]的判断永远返回False,根本触发不到匹配后的中断逻辑。 - 异常捕获范围存在盲区:仅捕获TypeError的逻辑无法覆盖两类常见错误:
- 某行存在
<a>标签但缺失href属性时,访问属性会抛出KeyError,不在TypeError的捕获范围内 - 过窄的捕获范围会掩盖匹配条件失效的问题,误导调试方向
- 某行存在
排查方向
- 逐行核对代码缩进,确认
print(row)和break是写在匹配条件的内部,而非try块的顶层位置 - 打印选手行的实际href内容,核对判断条件的匹配值和页面实际的字符串是否一致
- 临时移除异常捕获块,运行代码查看实际抛出的异常类型,确认是否存在未被捕获的报错
修复参考代码
import requests from bs4 import BeautifulSoup url = "http://tennisabstract.com/reports/atp_elo_ratings.html" target_player = "Novak Djokovic" # 补充通用请求头,避免被站点反爬拦截 resp = requests.get(url, headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"}) soup = BeautifulSoup(resp.text, "html.parser") all_tr = soup.find_all("tr") for row in all_tr: # 直接提取行内纯文本做匹配,不依赖a标签的href属性 row_content = row.get_text(strip=True, separator=" ") if target_player in row_content: print(row) break
方案优化说明
- 放弃依赖href匹配选手的逻辑,从根源上避免无a标签、无href属性引发的各类下标错误
- 匹配时使用选手全名,避免单名引发的同名误匹配
- 补充基础请求头,避免被站点反爬机制拦截返回非目标的页面内容
内容的提问来源于stack exchange,提问作者Artemii Kurilko
相关产品推荐
相关产品推荐

