使用BeautifulSoup爬取时无法获取目标Div自身类属性的问题处理
问题定位
- 当前遍历逻辑仅读取外层目标div的子元素信息,从未提取外层div自身携带的类属性
- 硬编码
del instance[1]删除空值的写法,完全依赖固定节点位置,容易被页面中的空白文本(标签间换行、空格)干扰导致列表错位 - 直接通过下标取元素
class属性的写法,遇到无class属性的节点时会直接抛出KeyError
修正实现
- 遍历每个外层div时,优先拼接该元素的全量类值为空格分隔的字符串,插入结果列表首位
- 遍历子元素时主动过滤无意义的空白文本节点,删除硬编码删除列表项的逻辑
- 所有元素属性取值用
.get()方法兜底,避免属性不存在时报错
修正后完整代码
event_lst = [] for e in events: instance = [] # 提取当前外层div的完整类名,置于列表首位 full_div_class = " ".join(e.get("class", [])) instance.append(full_div_class) for c in e.contents: # 跳过非标签类的空白文本节点 if not getattr(c, "name", None): continue # 提取普通子节点的文本内容 if c.string: instance.append(c.string) # 提取icon-box对应的事件类型值 c_class = c.get("class", []) if "icon-box" in c_class: instance.append(c_class[1]) event_lst.append(instance)
运行效果
修正后输出完全匹配预期格式,示例结果为:["detailMS__incidentRow incidentRow--home odd", "34'", 'substitution-in', 'Skov R.', None]
内容的提问来源于stack exchange,提问作者Ribzy
相关产品推荐
相关产品推荐

