You need to enable JavaScript to run this app. 使用BeautifulSoup爬取时无法获取目标Div自身类属性的问题处理
优惠活动
大模型
产品
解决方案
定价
更多

使用BeautifulSoup爬取时无法获取目标Div自身类属性的问题处理

问题定位
  • 当前遍历逻辑仅读取外层目标div的子元素信息,从未提取外层div自身携带的类属性
  • 硬编码del instance[1]删除空值的写法,完全依赖固定节点位置,容易被页面中的空白文本(标签间换行、空格)干扰导致列表错位
  • 直接通过下标取元素class属性的写法,遇到无class属性的节点时会直接抛出KeyError
修正实现
  • 遍历每个外层div时,优先拼接该元素的全量类值为空格分隔的字符串,插入结果列表首位
  • 遍历子元素时主动过滤无意义的空白文本节点,删除硬编码删除列表项的逻辑
  • 所有元素属性取值用.get()方法兜底,避免属性不存在时报错

修正后完整代码

event_lst = []
for e in events:   
    instance = []
    # 提取当前外层div的完整类名,置于列表首位
    full_div_class = " ".join(e.get("class", []))
    instance.append(full_div_class)

    for c in e.contents:
        # 跳过非标签类的空白文本节点
        if not getattr(c, "name", None):
            continue
        # 提取普通子节点的文本内容
        if c.string:
            instance.append(c.string)
        # 提取icon-box对应的事件类型值
        c_class = c.get("class", [])
        if "icon-box" in c_class:
            instance.append(c_class[1])

    event_lst.append(instance)

运行效果

修正后输出完全匹配预期格式,示例结果为:
["detailMS__incidentRow incidentRow--home odd", "34'", 'substitution-in', 'Skov R.', None]


内容的提问来源于stack exchange,提问作者Ribzy

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.09 18:54:07