Python web scraping提取Yelp评论评分时遇IndexError报错求助
异常成因与排查解决方法
报错本质
IndexError: list index out of range触发的直接原因是re.findall('\d+', rating)执行后返回了空列表,尝试取索引为0的元素时找不到对应内容。
分步排查与修复方案
- 先确认目标变量的真实取值
不要默认review.find()一定能找到带评分信息的元素,也不要默认拿到的alt属性就是预期的评分文本。在正则匹配逻辑之前添加实际值打印,明确拿到的内容到底是什么:
常见的空匹配触发场景包括:rating = review.find('img', attrs={'class': 'offscreen__373c0__1KofL'}).get('alt') # 用repr可以完整显示空值、特殊字符,避免被表面输出误导 print(repr(rating))- Yelp前端的哈希类名(即类名里带
373c0这类随机生成的字符串)是随版本动态更新的,硬编码类名经常定位到错误元素,甚至返回None,此时拿到的rating可能是None或者无数字的空字符串 - 定位到的img元素并不是评分标识,alt文本是“Recommended”“New”这类无关内容,本身就不含数字
- Yelp前端的哈希类名(即类名里带
- 修正正则的兼容与容错逻辑
原有代码的正则写法本身存在两个问题:一是无容错,匹配不到就直接取索引触发报错;二是\d+只能匹配连续整数,遇到Yelp常见的带小数的评分(如4.5分)时,就算匹配到内容也会截断得到错误结果。
替换成带判空的正则匹配逻辑,同时兼容小数评分:# 匹配文本中第一个带可选小数位的数字,适配Yelp常见的alt文本格式 score_result = re.search(r'(\d+\.?\d*)', rating) if score_result: rating = float(score_result.group(1)) else: # 匹配失败时打印日志标记,不要直接中断程序 print(f"当前评论评分提取失败,对应alt文本:{rating}") - 优化元素定位策略
长期不要硬绑定带随机哈希值的前端类名,这类类名会随Yelp前端发版随时变更。可调整为定位评论块下所有带评分标识属性的元素,匹配其alt文本,大幅降低定位失效的概率。
内容的提问来源于stack exchange,提问作者mrjay
相关产品推荐
相关产品推荐

