You need to enable JavaScript to run this app. 如何使用BeautifullSoap通过文本值而非标签拆分多数据块HTML页面
优惠活动
大模型
产品
解决方案
定价
更多

如何使用BeautifullSoap通过文本值而非标签拆分多数据块HTML页面

平铺DOM结构多数据块拆分方案

对于没有嵌套父容器、仅靠固定文本作为分割标识的页面,不需要调整BeautifulSoup的基础解析逻辑,顺着DOM节点的相邻遍历流,以你观察到的固定文本为锚点拆分即可,具体操作如下:

实现步骤

  • 定位分割锚点
    遍历解析后的DOM节点,筛选出文本完全匹配Parti fascicolo的标签节点,按文档流顺序记录所有锚点位置。匹配时先过滤纯文本、空白节点,仅对标签类元素做判断,避免被页面中带相似文本的内容误匹配。
  • 拆分独立数据块
    从每个锚点位置开始,顺着文档流向后遍历相邻标签节点,直到遇到下一个分割锚点、或是收集到固定数量的ul标签(你观察到每个块包含7个ul,可将这个规则加入逻辑做兜底校验),就把这段范围内收集到的所有ul归为同一个独立数据块。
    遍历过程中要跳过DOM里的换行、空格等无意义文本节点,仅统计标签类节点,避免遍历逻辑卡壳。
  • 提取块内内容
    拆分完成后,每个独立块的结构和你之前可正常处理的单数据块页面完全一致,直接对块内的ul、下属li做文本提取即可。

可直接运行的示例代码

from bs4 import BeautifulSoup, Tag

# 替换为实际请求获取到的页面源码
soup = BeautifulSoup(page_html, "html.parser")

# 收集所有文本为"Parti fascicolo"的分割锚点
split_anchors = []
for node in soup.descendants:
    # 仅判断标签类节点,跳过纯文本节点
    if isinstance(node, Tag) and node.get_text(strip=True) == "Parti fascicolo":
        split_anchors.append(node)

# 拆分每个独立案件块
case_blocks = []
for anchor_idx, current_anchor in enumerate(split_anchors):
    collected_uls = []
    # 从锚点的下一个相邻节点开始向后遍历
    traverse_node = current_anchor.next_sibling
    # 定位下一个锚点作为终止边界
    next_anchor = split_anchors[anchor_idx + 1] if anchor_idx < len(split_anchors)-1 else None

    while traverse_node is not None:
        # 跳过空白、换行等非标签节点
        if isinstance(traverse_node, Tag):
            # 碰到下一个块的锚点就停止遍历
            if next_anchor and traverse_node == next_anchor:
                break
            # 收集范围内的ul标签
            if traverse_node.name == "ul":
                collected_uls.append(traverse_node)
                # 每个块固定7个ul,凑满就停止遍历,匹配观察到的结构规则
                if len(collected_uls) ==7:
                    break
        traverse_node = traverse_node.next_sibling
    case_blocks.append(collected_uls)

# 提取每个块内的li文本
for block_idx, ul_list in enumerate(case_blocks):
    print(f"===== 第{block_idx+1}个独立块内容 =====")
    for ul in ul_list:
        li_content = [li.get_text(strip=True) for li in ul.find_all("li")]
        print(f"对应ul下的li值:{li_content}")

常见场景调整

  • 如果锚点节点和后续的ul不是直接相邻的兄弟节点(比如锚点本身嵌在li标签里,后续的ul在锚点的父节点层级),仅需要把遍历的起始节点从current_anchor.next_sibling改成current_anchor.parent.next_sibling即可,整体遍历逻辑不需要变动。
  • 拆分时如果发现收集到的ul数量和预期的7个不符,可以加入异常标记,排查是不是锚点文本匹配错了位置。
  • 不要选择把整个页面转成纯文本、靠字符串分割的方式拆块,这种方式会丢失标签层级关系,后续提取li值时很容易出现内容串块的问题。

内容的提问来源于stack exchange,提问作者Carletto

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.24 12:15:11