You need to enable JavaScript to run this app. 如何通过类名或ID查找子标签?requests_html与bs4实现方案
优惠活动
大模型
产品
解决方案
定价
更多

如何通过类名或ID查找子标签?requests_html与bs4实现方案

原代码核心问题
  • 此前编写的find调用逻辑混淆了CSS选择器语法和属性匹配参数,把类选择器字符串、属性字典硬拼接成了无效的选择器字符串,完全不符合requests_html的方法入参规范,因此无法返回匹配结果。
  • requests_html的find()方法仅支持两类合法入参形式:一是完整的合法CSS选择器字符串,二是通过独立关键字参数匹配标签属性,不支持把两种写法硬塞进同一个字符串里。
requests_html 环境下的正确实现

需求为抓取id="storytext"标签下的直接子级p标签,正确写法分为两类:

  • 单步CSS选择器写法:通过CSS层级选择器直接定位目标节点,一步完成查找
    # #storytext 定位id为storytext的节点,> p 匹配该节点下的直接子级p标签
    child_p_tags = source_page.find("#storytext > p", first=False)
    
  • 分步查找写法:先定位到storytext容器,再从容器内筛选符合要求的子节点
    # 先拿到id为storytext的容器元素
    story_container = source_page.find("#storytext", first=True)
    # 严格匹配直接子级p标签,避免抓取嵌套在内部的后代p节点
    child_p_tags = story_container.find(":scope > p", first=False)
    

注意:如果查找逻辑不添加>或者:scope层级限定,直接匹配p标签,会抓取到storytext容器内所有层级的后代p节点,不符合“仅获取子级”的需求。

BeautifulSoup 实现方案

该需求完全可以通过BeautifulSoup实现,对直接子级节点的匹配逻辑更直观:

  • 实现逻辑:先通过id定位到storytext容器节点,再遍历容器的直接子节点集合,过滤出标签名为p的节点即可
  • 参考代码:
    from bs4 import BeautifulSoup
    
    # 从requests_html的响应对象中提取原始HTML源码
    soup = BeautifulSoup(source_page.html.html, "html.parser")
    # 定位id为storytext的容器
    story_container = soup.find(id="storytext")
    # 遍历直接子节点,过滤出p标签
    child_p_tags = [node for node in story_container.children if node.name == "p"]
    

内容的提问来源于stack exchange,提问作者Jing Gu

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.10 15:06:02