如何通过类名或ID查找子标签?requests_html与bs4实现方案
原代码核心问题
- 此前编写的
find调用逻辑混淆了CSS选择器语法和属性匹配参数,把类选择器字符串、属性字典硬拼接成了无效的选择器字符串,完全不符合requests_html的方法入参规范,因此无法返回匹配结果。 - requests_html的
find()方法仅支持两类合法入参形式:一是完整的合法CSS选择器字符串,二是通过独立关键字参数匹配标签属性,不支持把两种写法硬塞进同一个字符串里。
requests_html 环境下的正确实现
需求为抓取id="storytext"标签下的直接子级p标签,正确写法分为两类:
- 单步CSS选择器写法:通过CSS层级选择器直接定位目标节点,一步完成查找
# #storytext 定位id为storytext的节点,> p 匹配该节点下的直接子级p标签 child_p_tags = source_page.find("#storytext > p", first=False) - 分步查找写法:先定位到storytext容器,再从容器内筛选符合要求的子节点
# 先拿到id为storytext的容器元素 story_container = source_page.find("#storytext", first=True) # 严格匹配直接子级p标签,避免抓取嵌套在内部的后代p节点 child_p_tags = story_container.find(":scope > p", first=False)
注意:如果查找逻辑不添加
>或者:scope层级限定,直接匹配p标签,会抓取到storytext容器内所有层级的后代p节点,不符合“仅获取子级”的需求。
BeautifulSoup 实现方案
该需求完全可以通过BeautifulSoup实现,对直接子级节点的匹配逻辑更直观:
- 实现逻辑:先通过id定位到storytext容器节点,再遍历容器的直接子节点集合,过滤出标签名为p的节点即可
- 参考代码:
from bs4 import BeautifulSoup # 从requests_html的响应对象中提取原始HTML源码 soup = BeautifulSoup(source_page.html.html, "html.parser") # 定位id为storytext的容器 story_container = soup.find(id="storytext") # 遍历直接子节点,过滤出p标签 child_p_tags = [node for node in story_container.children if node.name == "p"]
内容的提问来源于stack exchange,提问作者Jing Gu
相关产品推荐
相关产品推荐

