使用BeautifulSoup爬取IMDB电影数据时获取metascore报NoneType错误
报错原因拆解
1. 类名精确匹配失效
你使用container.find('span', class_ = 'metascore')是对元素类名做完全相等的匹配,但实际IMDB页面中metascore对应的span元素,会根据评分高低附加额外的状态类名。比如你自测拿到的<span class="metascore favorable">77 </span>,它的完整类值是metascore favorable,并不是单独的metascore。只要遇到的条目类名和你写的精确值不一致,find()就会返回None,此时调用.text就会触发你遇到的AttributeError: 'NoneType' object has no attribute 'text'错误。
2. 空值判断逻辑漏洞
你写的分支判断if container.find_all('div', class_ = 'ratings-metascore') is not None本身起不到筛选作用:
BeautifulSoup的
find_all()无论是否查到匹配元素,永远返回列表类型——查到了就返回装着匹配元素的列表,查不到就返回空列表[],永远不会返回None。这意味着哪怕某个电影条目根本没有metascore评分块,代码也会进入这个分支继续执行查找逻辑,最终碰到空值报错。
可直接落地的修正方案
- 调整类名匹配规则,不需要卡全量类值:换用模糊匹配逻辑,只要元素的类列表里包含
metascore字段就选中,不管附带什么favorable/mixed/unfavorable这类状态类。可以用lambda表达式实现匹配:container.find('span', class_=lambda cls: cls and 'metascore' in cls.split()) - 修正分支判断逻辑:把原来用
find_all()的判断换成单个元素查找,container.find('div', class_ = 'ratings-metascore')在查不到元素时会返回None,此时判断is not None才能真正筛选出带metascore评分的条目。 - 增加空值兜底避免脚本崩溃:取metascore文本前先判断元素是否存在,取到文本后顺便清理多余空白字符,对应代码片段:
score_tag = container.find('span', class_=lambda cls: cls and 'metascore' in cls.split()) if score_tag: # 清除文本前后的多余空格、换行 score = score_tag.text.strip() metascores.append(score)
内容的提问来源于stack exchange,提问作者LaurieFalcon
相关产品推荐
相关产品推荐

