使用BeautifulSoup解析HTML时特殊字符及标签丢失问题求助

这个问题本质是Python标准库自带的html.parser在旧版本（对应你用的Python 3.6）中，对不规范的HTML实体容错性太差。当它遇到&#这种实体开头，但后面跟着的@不是合法的实体字符时，会错误地终止解析，导致内容被截断。下面给你两种可行的解决方案：

方案1：更换更健壮的解析器 #

BeautifulSoup支持lxml和html5lib这两个第三方解析器，它们对不规范HTML的处理能力比标准库的html.parser强很多，能完美处理这种不完整的实体场景。

首先安装解析器（二选一即可）：

# 安装lxml（推荐，解析速度更快）
pip install lxml

# 或者安装html5lib（容错性最强，解析结果更贴近浏览器）
pip install html5lib

然后修改代码使用新解析器：

from bs4 import BeautifulSoup
doc = ''' <html> <body> <div>And I said «What the %&#@???»</div> <div>some other text</div> </body> </html>'''

# 使用lxml解析器
soup = BeautifulSoup(doc, 'lxml')
print(soup)

# 或者用html5lib
# soup = BeautifulSoup(doc, 'html5lib')
# print(soup)

运行后就能完整输出整个文档，不会出现截断。

方案2：预处理文档转义不规范实体 #

如果不想安装第三方解析器，可以先对原始文档做预处理，把容易触发解析错误的&#组合转义成&#，让解析器把它当成普通文本处理：

from bs4 import BeautifulSoup
doc = ''' <html> <body> <div>And I said «What the %&#@???»</div> <div>some other text</div> </body> </html>'''

# 预处理：转义不规范的实体开头
processed_doc = doc.replace('&#', '&amp;#')
soup = BeautifulSoup(processed_doc, 'html.parser')

# 如果需要还原原始字符，可以在输出时再替换回来
print(str(soup).replace('&amp;#', '&#'))

这种方法能在保留原始文本信息的前提下，避免解析器截断内容。

额外说明 #

你使用的BeautifulSoup 4.6.0版本比较旧，不过考虑到Python 3.6已经停止维护，升级BeautifulSoup可能会遇到兼容性问题，所以优先更换解析器是更稳妥的选择。另外prettify()无效是因为解析后的soup已经损坏，必须先解决解析截断的问题，才能正常使用格式化方法。

内容的提问来源于stack exchange，提问作者David Dale