You need to enable JavaScript to run this app. BeautifulSoup如何提取</h3>与下个<h2>间含<p>标签的全部内容
优惠活动
大模型
产品
解决方案
定价
更多

BeautifulSoup如何提取</h3>与下个<h2>间含<p>标签的全部内容

BeautifulSoup 跨标签区间内容抓取实现

待解析的HTML结构特征

待抓取的HTML为无嵌套的连续平铺结构,每个独立内容单元固定遵循顺序排列:

  • 1个<h2>标签:为单元的时间类标题
  • 紧跟1个<h3>标签:为单元的分类主题
  • 跟随数量不固定的若干<p>标签:为单元的正文内容
  • 下一个单元直接以新的<h2>标签开始,无嵌套容器包裹

示例结构:

<h2>January, 2020</h2>
<h3>facility</h3>
<p>text1-1</p>
<p>text1-2</p>

<h2>April, 2020</h2>
<h3>scientists</h3>
<p>text2-1</p>
<p>text2-2</p>

<h2>June, 2020</h2>
<h3>lawyers</h3>
<p>text3-1</p>

明确抓取需求

需要提取每个单元中,</h3>闭合标签之后、下一个<h2>标签之前的全部正文内容,并且完整保留每个

标签本身的HTML结构,不需要提取纯文本。

预期输出效果:
第1个单元输出:

<p>text1-1</p>
<p>text1-2</p>

第2个单元输出:

<p>text2-1</p>
<p>text2-2</p>

第3个单元输出:

<p>text3-1</p>

现有实现的缺陷

当前尝试的代码如下:

num_h2 = len(soup.find_all('h2'))

for i in range(0,num_h2):
    print('---------')
    print(i) 

    p_string = ''
    sibling = soup.find_all('h3')[i].find_next_sibling('p').getText()

    if sibling:
        p_string += sibling
    else:
        break

    print(p_string)

这段代码存在两个核心问题:

  • 仅能获取每个单元下第一个<p>标签的纯文本内容,既无法保留<p>标签本身的结构,也无法拉取同单元下后续的多个<p>标签
  • 依赖提前统计标签总数做索引循环,无法感知每个单元下<p>标签的实际数量,遍历边界模糊,一旦HTML结构和预期有偏差就会取错内容

优化实现方案

不需要提前统计<p>标签的总数量,利用BeautifulSoup内置的相邻标签筛选能力,即可一次性完成区间内容拉取,逻辑比单步查找find_next_sibling()更简洁可靠:

  1. 直接遍历所有<h2>标签,作为每个内容单元的定位锚点
  2. 对每个<h2>,找到其后方相邻的第一个<h3>标签,作为内容区间的起点
  3. 从该<h3>开始,一次性拉取所有相邻的<p>兄弟节点,直到遇到第一个非<p>的相邻节点(也就是下一个<h2>标签)时自动终止遍历

可直接运行的示例代码:

from bs4 import BeautifulSoup

# soup为已完成HTML解析的对象,初始化代码省略
for h2 in soup.find_all('h2'):
    # 定位当前单元的h3标签(内容区间起点)
    h3 = h2.find_next_sibling('h3')
    if not h3:
        continue
    # 从h3开始拉取所有相邻的p标签,自动在遇到非p标签时停止
    p_tags = h3.find_next_siblings('p')
    # 拼接每个p标签的完整HTML结构,保留原标签格式
    unit_content = '\n'.join(str(p) for p in p_tags)
    print(f'当前单元输出:\n{unit_content}\n')

方案优势

  • 完全依靠标签相邻关系定位,不需要提前统计各类标签的总数量,就算某个单元下的<p>标签数量增减,代码也不需要调整
  • 直接输出<p>标签的完整HTML结构,完全满足保留标签的需求,不会只提取纯文本
  • 内置遍历终止逻辑:find_next_siblings('p')会沿DOM树向后查找所有相邻的p标签,一旦碰到非p的节点就自动停止,不需要额外写边界判断

内容的提问来源于stack exchange,提问作者ha-neul

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.17 20:45:00