You need to enable JavaScript to run this app. BeautifulSoup爬取span内指定class元素时仅返回重复值的问题解决
优惠活动
大模型
产品
解决方案
定价
更多

BeautifulSoup爬取span内指定class元素时仅返回重复值的问题解决

爬取嵌套结构指定class元素全量值的问题修正

核心bug定位

  • 循环变量完全未被使用:for循环本来要遍历expand_hits列表里的每一个房产节点,代码内却固定引用全局列表的第二个元素expand_hits[1],相当于每轮循环都取同一个固定位置的节点做解析,自然永远输出重复的Malmö值。
  • 元素查找作用域错误:查找div、span子元素时,没有限定在当前循环的单个房产节点内部搜索,反而回到全局文档范围查找,即使修正了循环引用,也会拿到全文档的重复匹配值。
  • 硬编码索引导致脆弱性:直接对findAll返回的匹配列表写死[1]索引,如果某个房产节点下符合class的span数量不足,就会直接抛出索引越界报错;如果不写索引直接调用getText,因为拿到的是元素列表而非单个元素,就会触发方法不存在的报错,也就是观察到的“不指定索引就抛方法使用错误”的现象。
  • 变量引用错配:循环内计算出的place_name没有被存入结果列表,反而append了从未定义的final_str变量,运行时也会触发未定义报错。

修正后的可运行代码

expand_hits = soup.findAll("a", {"class": "sold-property-listing"})
apartments = []
# 用循环变量承接当前遍历到的单个房产节点,不要跳过这个变量
for hit_property in expand_hits:
    # 所有子元素查找都限定在当前hit_property的内部范围,不要回到全局soup搜索
    location_div = hit_property.find("div", {"class": "sold-property-listing__location"})
    item_link_spans = location_div.findAll("span", {"class": "item-link"})
    # 加边界判断避免索引越界:确认匹配到的span数量足够时再取对应位置的文本
    if len(item_link_spans) >= 2:
        place_name = item_link_spans[1].getText(strip=True)
        print(place_name)
        apartments.append(place_name)

补充说明

如果需要拿到匹配列表里的全部span文本而非固定第二个值,不要硬写索引,直接遍历列表即可,示例:

# 拿到当前location div下所有item-link span的全部文本
all_span_text = [span.getText(strip=True) for span in item_link_spans]

注:BeautifulSoup里的findAll是旧版方法名,新版已统一为find_all,二者功能完全一致,不存在方法使用不当的问题,出现报错本质是对方法返回值的处理不符合类型要求。


内容的提问来源于stack exchange,提问作者Revanth Tv

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.01 08:36:05