如何移除BeautifulSoup对象中的冗余HTML标签？

这是个非常贴合实际场景的需求——咱们要清理那些纯粹用来增加层级、既不带任何属性也没有有效文本内容的<div>节点，本质上就是在BeautifulSoup的DOM树中合并“空中间节点”，让树结构更紧凑干净。

核心思路（图算法视角） #

把DOM树看作一棵有向无环树，我们要识别并移除那些没有任何属性、没有非空白文本内容、仅作为子节点容器的节点。这类节点属于树中的“冗余路径节点”，它们的存在不携带任何有效信息，我们可以将它们的直接子节点提升到父节点层级，然后删除这些冗余节点。

具体实现代码 #

我们可以写一个递归处理函数，遍历整个DOM树，从最底层的节点开始向上清理（避免因节点删除导致的遍历索引混乱）：

from bs4 import BeautifulSoup, NavigableString

def remove_redundant_divs(soup):
    # 从后往前遍历子节点，避免删除节点后索引错乱
    for child in reversed(soup.contents):
        # 如果是纯文本节点，跳过处理
        if isinstance(child, NavigableString):
            continue
        # 先递归处理子节点，把深层的冗余节点先清理干净
        remove_redundant_divs(child)
        
        # 判断当前节点是否是冗余div：是div标签 + 无属性 + 无有效文本内容
        if child.name == 'div' and not child.attrs:
            # 检查是否只有空白类文本（没有实际有效文本）
            has_useful_text = any(not str(elem).strip() == '' for elem in child.contents if isinstance(elem, NavigableString))
            if not has_useful_text:
                # 把当前节点的子节点全部移到父节点中
                parent = child.parent
                for grandchild in child.contents:
                    parent.insert(parent.index(child), grandchild)
                # 删除这个冗余节点
                child.decompose()

# 测试用的原始HTML
raw_html = '''<html> <body> <div> <div> <div> <div> <div> <div> Close </div> </div> </div> </div> </div> <div> <div> <div style="width:80px"> <div> </div> <div> <button> Close </button> </div> </div> </div> </div> </div> <div> </div> </body> </html>'''

soup = BeautifulSoup(raw_html, 'html.parser')
remove_redundant_divs(soup)

# 输出清理后的HTML结构
print(soup.prettify())

代码关键细节解释 #

1. 递归遍历顺序：先递归处理子节点，确保深层的冗余节点先被清理，这样上层节点的状态判断才会准确。
2. 反向遍历子节点：用reversed()遍历子节点，避免删除节点后导致后续节点的索引偏移，遍历不会漏项。
3. 冗余节点判定逻辑：
   • 必须是<div>标签
   • 没有任何自定义属性（child.attrs为空字典）
   • 不存在非空白的有效文本（排除空格、换行这类无意义文本）
4. 节点合并操作：把冗余节点的子节点插入到父节点中该冗余节点的原有位置，再删除冗余节点，保证DOM结构的逻辑完整性。

最终处理结果 #

运行代码后，会得到你期望的紧凑结构：

<html>
 <body>
  <div>
   Close
  </div>
  <div style="width:80px">
   <button>
    Close
   </button>
  </div>
 </body>
</html>

内容的提问来源于stack exchange，提问作者DaveTheAl