使用BeautifulSoup4进行网页抓取时如何移除多余的style等无关标签内容

你的清理逻辑存在两个核心漏洞，导致冗余内容无法被正确过滤：

1. 仅校验文本的直接父标签是否在黑名单，若黑名单标签内存在嵌套子标签，子标签下的文本会逃过校验；
2. 未处理HTML注释节点，你遇到的mso开头冗余内容均是Office导出网页生成的IE条件注释，这类内容在BeautifulSoup中属于Comment类型节点，原有的标签黑名单判断对这类节点完全无效。

建议先从DOM树层面直接删除不需要的内容，再提取纯文本，清理更彻底、执行效率更高，修改后代码如下：

from bs4 import BeautifulSoup, Comment

def clean_html(raw_html):
    soup = BeautifulSoup(raw_html, 'html.parser')
    blacklist = [
        '[document]', 
        'noscript',
        'header',
        'html',
        'meta',
        'head', 
        'input',
        'script',
        'style',
        'xml' # 按需添加，可直接删除你示例中的xml标签内容
    ]
    
    # 移除所有黑名单标签及内部全部内容
    for tag in blacklist:
        for element in soup.find_all(tag):
            element.decompose()
    
    # 移除所有HTML注释节点（包含条件注释）
    for comment in soup.find_all(string=lambda text: isinstance(text, Comment)):
        comment.extract()
    
    # 提取纯文本并清理多余空白
    cleaned_text = soup.get_text(separator=' ', strip=True)
    cleaned_text = ' '.join(cleaned_text.split())
    return cleaned_text

• 调用decompose()直接把整个黑名单标签从DOM树中删除，无论内部嵌套多少层内容都会被彻底清除，不会残留；
• 单独匹配Comment类型节点，所有注释内容（包含你示例中的mso条件注释）都会被完全删除；
• 使用BeautifulSoup自带的get_text()提取文本，比手动拼接文本稳定性更高，自动处理标签间的间隔。

内容的提问来源于stack exchange，提问作者sirimiri