如何让BeautifulSoup使用自定义类而非默认Tag类构建解析树？

我正在使用BeautifulSoup4将HTML字符串解析为结构化对象，希望每个HTML元素（如soup.body.title）都拥有一个名为embed的属性。于是我创建了Tag和BeautifulSoup的子类EmbedTag、EmbedSoup并添加了embed属性，根节点对象类型为EmbedSoup符合预期，但soup.body的类型仍是bs4.element.Tag而非EmbedTag。

如何确保解析树的所有元素都是EmbedTag类型？是否有其他解决方案？

原代码示例：

from bs4 import BeautifulSoup, Tag

class EmbedTag(Tag):
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.embed = None  # 初始化embed属性为None

class EmbedSoup(BeautifulSoup):
    def __init__(self, *args, **kwargs):
        kwargs['element_classes'] = {'tag': EmbedTag}
        super().__init__(*args, **kwargs)

# 用自定义类解析HTML
soup = EmbedSoup(html_content, 'html.parser')
type(soup)  # 返回EmbedSoup
type(soup.body)  # 返回bs4.element.Tag

解决方案 #

方案1：重写new_tag方法（兼容所有解析器） #

通过重写BeautifulSoup的new_tag方法，强制所有新创建的标签返回自定义EmbedTag实例，这种方式对所有解析器都有效。

修正后的代码：

from bs4 import BeautifulSoup, Tag

class EmbedTag(Tag):
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.embed = None  # 初始化embed属性为None

class EmbedSoup(BeautifulSoup):
    def new_tag(self, name, namespace=None, nsprefix=None, **attrs):
        # 重写new_tag方法，返回自定义EmbedTag实例
        return EmbedTag(name, namespace, nsprefix, attrs, self)

# 测试解析
html_content = "<html><body><title>Test Page</title></body></html>"
soup = EmbedSoup(html_content, 'html.parser')

print(type(soup))          # <class '__main__.EmbedSoup'>
print(type(soup.body))     # <class '__main__.EmbedTag'>
print(type(soup.body.title))  # <class '__main__.EmbedTag'>
print(soup.body.title.embed)  # None

方案2：正确配置element_classes并使用兼容解析器 #

Python内置的html.parser对element_classes参数支持有限，切换到html5lib或lxml解析器，并正确传递参数即可生效。

修正后的代码：

from bs4 import BeautifulSoup, Tag

class EmbedTag(Tag):
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.embed = None

class EmbedSoup(BeautifulSoup):
    def __init__(self, *args, **kwargs):
        # 合并element_classes配置，避免覆盖原有设置
        kwargs.setdefault('element_classes', {})['tag'] = EmbedTag
        super().__init__(*args, **kwargs)

# 使用html5lib解析器
html_content = "<html><body><title>Test Page</title></body></html>"
soup = EmbedSoup(html_content, 'html5lib')

print(type(soup.body))  # <class '__main__.EmbedTag'>

方案对比 #

• 重写new_tag：兼容性最强，无需更换解析器，同时确保后续动态创建的标签也会是EmbedTag类型。
• element_classes+兼容解析器：代码更简洁，但依赖解析器对该参数的支持，适合固定使用html5lib或lxml的场景。

内容的提问来源于stack exchange，提问作者TANMAY BHAYANI