BeautifulSoup爬取span内指定class元素时仅返回重复值的问题解决
爬取嵌套结构指定class元素全量值的问题修正
核心bug定位
- 循环变量完全未被使用:
for循环本来要遍历expand_hits列表里的每一个房产节点,代码内却固定引用全局列表的第二个元素expand_hits[1],相当于每轮循环都取同一个固定位置的节点做解析,自然永远输出重复的Malmö值。 - 元素查找作用域错误:查找
div、span子元素时,没有限定在当前循环的单个房产节点内部搜索,反而回到全局文档范围查找,即使修正了循环引用,也会拿到全文档的重复匹配值。 - 硬编码索引导致脆弱性:直接对
findAll返回的匹配列表写死[1]索引,如果某个房产节点下符合class的span数量不足,就会直接抛出索引越界报错;如果不写索引直接调用getText,因为拿到的是元素列表而非单个元素,就会触发方法不存在的报错,也就是观察到的“不指定索引就抛方法使用错误”的现象。 - 变量引用错配:循环内计算出的
place_name没有被存入结果列表,反而append了从未定义的final_str变量,运行时也会触发未定义报错。
修正后的可运行代码
expand_hits = soup.findAll("a", {"class": "sold-property-listing"}) apartments = [] # 用循环变量承接当前遍历到的单个房产节点,不要跳过这个变量 for hit_property in expand_hits: # 所有子元素查找都限定在当前hit_property的内部范围,不要回到全局soup搜索 location_div = hit_property.find("div", {"class": "sold-property-listing__location"}) item_link_spans = location_div.findAll("span", {"class": "item-link"}) # 加边界判断避免索引越界:确认匹配到的span数量足够时再取对应位置的文本 if len(item_link_spans) >= 2: place_name = item_link_spans[1].getText(strip=True) print(place_name) apartments.append(place_name)
补充说明
如果需要拿到匹配列表里的全部span文本而非固定第二个值,不要硬写索引,直接遍历列表即可,示例:
# 拿到当前location div下所有item-link span的全部文本 all_span_text = [span.getText(strip=True) for span in item_link_spans]
注:BeautifulSoup里的
findAll是旧版方法名,新版已统一为find_all,二者功能完全一致,不存在方法使用不当的问题,出现报错本质是对方法返回值的处理不符合类型要求。
内容的提问来源于stack exchange,提问作者Revanth Tv
相关产品推荐
相关产品推荐

