如何使用BeautifullSoap通过文本值而非标签拆分多数据块HTML页面
平铺DOM结构多数据块拆分方案
对于没有嵌套父容器、仅靠固定文本作为分割标识的页面,不需要调整BeautifulSoup的基础解析逻辑,顺着DOM节点的相邻遍历流,以你观察到的固定文本为锚点拆分即可,具体操作如下:
实现步骤
- 定位分割锚点
遍历解析后的DOM节点,筛选出文本完全匹配Parti fascicolo的标签节点,按文档流顺序记录所有锚点位置。匹配时先过滤纯文本、空白节点,仅对标签类元素做判断,避免被页面中带相似文本的内容误匹配。 - 拆分独立数据块
从每个锚点位置开始,顺着文档流向后遍历相邻标签节点,直到遇到下一个分割锚点、或是收集到固定数量的ul标签(你观察到每个块包含7个ul,可将这个规则加入逻辑做兜底校验),就把这段范围内收集到的所有ul归为同一个独立数据块。
遍历过程中要跳过DOM里的换行、空格等无意义文本节点,仅统计标签类节点,避免遍历逻辑卡壳。 - 提取块内内容
拆分完成后,每个独立块的结构和你之前可正常处理的单数据块页面完全一致,直接对块内的ul、下属li做文本提取即可。
可直接运行的示例代码
from bs4 import BeautifulSoup, Tag # 替换为实际请求获取到的页面源码 soup = BeautifulSoup(page_html, "html.parser") # 收集所有文本为"Parti fascicolo"的分割锚点 split_anchors = [] for node in soup.descendants: # 仅判断标签类节点,跳过纯文本节点 if isinstance(node, Tag) and node.get_text(strip=True) == "Parti fascicolo": split_anchors.append(node) # 拆分每个独立案件块 case_blocks = [] for anchor_idx, current_anchor in enumerate(split_anchors): collected_uls = [] # 从锚点的下一个相邻节点开始向后遍历 traverse_node = current_anchor.next_sibling # 定位下一个锚点作为终止边界 next_anchor = split_anchors[anchor_idx + 1] if anchor_idx < len(split_anchors)-1 else None while traverse_node is not None: # 跳过空白、换行等非标签节点 if isinstance(traverse_node, Tag): # 碰到下一个块的锚点就停止遍历 if next_anchor and traverse_node == next_anchor: break # 收集范围内的ul标签 if traverse_node.name == "ul": collected_uls.append(traverse_node) # 每个块固定7个ul,凑满就停止遍历,匹配观察到的结构规则 if len(collected_uls) ==7: break traverse_node = traverse_node.next_sibling case_blocks.append(collected_uls) # 提取每个块内的li文本 for block_idx, ul_list in enumerate(case_blocks): print(f"===== 第{block_idx+1}个独立块内容 =====") for ul in ul_list: li_content = [li.get_text(strip=True) for li in ul.find_all("li")] print(f"对应ul下的li值:{li_content}")
常见场景调整
- 如果锚点节点和后续的
ul不是直接相邻的兄弟节点(比如锚点本身嵌在li标签里,后续的ul在锚点的父节点层级),仅需要把遍历的起始节点从current_anchor.next_sibling改成current_anchor.parent.next_sibling即可,整体遍历逻辑不需要变动。 - 拆分时如果发现收集到的
ul数量和预期的7个不符,可以加入异常标记,排查是不是锚点文本匹配错了位置。 - 不要选择把整个页面转成纯文本、靠字符串分割的方式拆块,这种方式会丢失标签层级关系,后续提取
li值时很容易出现内容串块的问题。
内容的提问来源于stack exchange,提问作者Carletto
相关产品推荐
相关产品推荐

