BeautifulSoup如何提取</h3>与下个<h2>间含<p>标签的全部内容
BeautifulSoup 跨标签区间内容抓取实现
待解析的HTML结构特征
待抓取的HTML为无嵌套的连续平铺结构,每个独立内容单元固定遵循顺序排列:
- 1个
<h2>标签:为单元的时间类标题 - 紧跟1个
<h3>标签:为单元的分类主题 - 跟随数量不固定的若干
<p>标签:为单元的正文内容 - 下一个单元直接以新的
<h2>标签开始,无嵌套容器包裹
示例结构:
<h2>January, 2020</h2> <h3>facility</h3> <p>text1-1</p> <p>text1-2</p> <h2>April, 2020</h2> <h3>scientists</h3> <p>text2-1</p> <p>text2-2</p> <h2>June, 2020</h2> <h3>lawyers</h3> <p>text3-1</p>
明确抓取需求
需要提取每个单元中,</h3>闭合标签之后、下一个<h2>标签之前的全部正文内容,并且完整保留每个
标签本身的HTML结构,不需要提取纯文本。
预期输出效果:
第1个单元输出:
<p>text1-1</p> <p>text1-2</p>
第2个单元输出:
<p>text2-1</p> <p>text2-2</p>
第3个单元输出:
<p>text3-1</p>
现有实现的缺陷
当前尝试的代码如下:
num_h2 = len(soup.find_all('h2')) for i in range(0,num_h2): print('---------') print(i) p_string = '' sibling = soup.find_all('h3')[i].find_next_sibling('p').getText() if sibling: p_string += sibling else: break print(p_string)
这段代码存在两个核心问题:
- 仅能获取每个单元下第一个
<p>标签的纯文本内容,既无法保留<p>标签本身的结构,也无法拉取同单元下后续的多个<p>标签 - 依赖提前统计标签总数做索引循环,无法感知每个单元下
<p>标签的实际数量,遍历边界模糊,一旦HTML结构和预期有偏差就会取错内容
优化实现方案
不需要提前统计<p>标签的总数量,利用BeautifulSoup内置的相邻标签筛选能力,即可一次性完成区间内容拉取,逻辑比单步查找find_next_sibling()更简洁可靠:
- 直接遍历所有
<h2>标签,作为每个内容单元的定位锚点 - 对每个
<h2>,找到其后方相邻的第一个<h3>标签,作为内容区间的起点 - 从该
<h3>开始,一次性拉取所有相邻的<p>兄弟节点,直到遇到第一个非<p>的相邻节点(也就是下一个<h2>标签)时自动终止遍历
可直接运行的示例代码:
from bs4 import BeautifulSoup # soup为已完成HTML解析的对象,初始化代码省略 for h2 in soup.find_all('h2'): # 定位当前单元的h3标签(内容区间起点) h3 = h2.find_next_sibling('h3') if not h3: continue # 从h3开始拉取所有相邻的p标签,自动在遇到非p标签时停止 p_tags = h3.find_next_siblings('p') # 拼接每个p标签的完整HTML结构,保留原标签格式 unit_content = '\n'.join(str(p) for p in p_tags) print(f'当前单元输出:\n{unit_content}\n')
方案优势
- 完全依靠标签相邻关系定位,不需要提前统计各类标签的总数量,就算某个单元下的
<p>标签数量增减,代码也不需要调整 - 直接输出
<p>标签的完整HTML结构,完全满足保留标签的需求,不会只提取纯文本 - 内置遍历终止逻辑:
find_next_siblings('p')会沿DOM树向后查找所有相邻的p标签,一旦碰到非p的节点就自动停止,不需要额外写边界判断
内容的提问来源于stack exchange,提问作者ha-neul
相关产品推荐
相关产品推荐

