Python BeautifulSoup通用提取嵌套HTML逐行文本并保留对应标签

问题说明 #

目前公开的BeautifulSoup文本提取资料大多仅覆盖单行文本提取场景，没有可通用的、能正确保留嵌套结构文本行关系的解决方案。
以如下HTML结构为例：

<div>
     <div>
     <span>2</span>
     <span>bananas</span></div>

     <div>
     <span>3</span>
     <span>oranges</span></div>
</div>

常规方案无法通用输出符合预期的结果，正确输出应为：

2 bananas
3 oranges

该场景要求工具能自动识别承载单行文本的父标签（如示例中的内层<div>），无需提前在findAll方法中硬编码待查找的标签列表。

实际测试中html2text库无需额外标签处理即可输出完美的结构化文本，但原生BeautifulSoup处理这类结构总会出现两类错误：要么每个子标签内的文本单独占一行，要么网上广泛流传的' '.join(t.strip() for t in visible_text)写法会把所有文本无差别拼接为一整串。
这类问题的根源是可见文本嵌套在多层下级标签中，哪怕<div>内嵌套<a>这类行内标签也会触发同类问题。
之前尝试的实现方案存在逻辑错误，无法满足需求，参考代码如下：

soup = BeautifulSoup(myHtmlFile, 'html.parser')
    groupedElements = soup.findAll(['ul','ol','td','p','li', 'br','div']) 
    for internalElements in groupedElements:
        for listElement in internalElements:
            wantedText = listElement.text
        wantedTag = inernalElements.parent

核心需求很明确：

• 保留承载每一行独立完整文本的对应标签
• 避免错误拼接：不能返回2\nbananas\n3\oranges这类逐标签拆分的结果，也不能返回2 bananas 3 oranges这类所有文本混为一串的结果

实现方案 #

核心思路是自动筛选最内层的块级元素作为单行文本的承载标签，过滤掉嵌套了其他块级子元素的外层容器，再对每个承载标签内部的文本做规范化拼接，不需要提前硬编码待查找的目标标签。
可直接复用的实现代码如下：

from bs4 import BeautifulSoup

# 可根据业务场景补充块级标签，无需提前指定查找目标
BLOCK_TAGS = {'div', 'p', 'li', 'td', 'ul', 'ol', 'br', 'h1','h2','h3','h4','h5','h6', 'tr'}

def extract_line_text_with_tag(html):
    soup = BeautifulSoup(html, 'html.parser')
    res = []
    # 遍历所有标签
    for tag in soup.find_all(True):
        if tag.name not in BLOCK_TAGS:
            continue
        # 若当前块标签内部还嵌套了其他块级标签，说明它不是行内容的直接承载者，跳过
        has_nested_block = False
        for child in tag.descendants:
            if child.name in BLOCK_TAGS:
                has_nested_block = True
                break
        if has_nested_block:
            continue
        # 拼接当前块内所有文本为单行，过滤空内容
        line_content = ' '.join(tag.stripped_strings)
        if line_content:
            res.append((line_content, tag))
    return res

方案效果 #

• 针对示例HTML调用该方法，输出完全匹配预期：

2 bananas
3 oranges

• 自动识别行承载标签，块内嵌套<span>、<a>等任意行内标签都可正确拼接
• 同时返回每一行文本和对应的承载标签，支持后续基于标签的二次处理
• 无逐标签拆行、全量文本拼接为单串的问题，通用性强，遇到特殊块级标签只需补充到BLOCK_TAGS集合即可。

内容的提问来源于stack exchange，提问作者Eamonn Kenny