使用BeautifulSoup时如何保留HTML十六进制实体并规避写文件编码报错
问题复现与根因定位
实际开发场景
使用BeautifulSoup处理包含十六进制HTML实体的HTML片段时,将解析完成的BS对象转成字符串写入本地文件,触发运行时报错。
核心复现代码
from bs4 import BeautifulSoup a=BeautifulSoup('<p class="t5">&#x20b9; 10,000 or $ 133.46</p>') b=open('file.html','w') b.write(str(a))
报错表现
程序抛出UnicodeEncodeError错误,核心报错信息为:
'charmap' codec can't encode character '\u20b9' in position 19038: character maps to <undefined>
经排查确认:
- 报错触发点为文件写入环节,BS对象直接转字符串的流程可正常执行
- 错误诱因与HTML内容中的
₹(印度卢比符号对应的十六进制实体)直接相关 - 此前查阅的相关资料均聚焦于HTML实体转Unicode字符的实现方向,与当前需要保留原始实体文本的需求不匹配,无法直接套用
问题根因
两个环节的默认逻辑叠加触发了问题:
- BS解析阶段:BeautifulSoup默认会将所有可识别的HTML实体(含十进制/十六进制数值实体)解码为对应的原生Unicode字符,示例中的
₹会被解析为Unicode字符\u20b9(₹)存储在DOM节点中 - 序列化输出阶段:BS默认使用
minimal格式化规则生成字符串,仅会对<、>、&等HTML语法特殊字符做实体转义,不会对非ASCII的Unicode字符做实体转换,因此原生的₹字符会直接出现在最终的输出字符串中 - 文件写入阶段:Windows系统下
open()方法默认使用本地charmap编码(通常为cp1252),该编码不支持₹这类超出ASCII范围的特殊字符,最终触发编码报错
适配需求的解决方案
目标:BS对象序列化输出时,不将原有的₹内容保留为原生Unicode字符,完整保留原始HTML实体文本,同时保障文件写入流程正常执行。
调整后可运行代码
from bs4 import BeautifulSoup # 初始化BS对象,指定解析器 soup = BeautifulSoup('<p class="t5">&#x20b9; 10,000 or $ 133.46</p>', 'html.parser') # 序列化时使用html格式化规则,自动将特殊Unicode字符转回对应HTML实体 output_str = soup.decode(formatter='html') # 写文件时显式指定utf-8编码,规避本地默认编码的兼容问题 with open('file.html', 'w', encoding='utf-8') as f: f.write(output_str)
方案效果
- 序列化输出时,原本被解析为原生₹的内容会被自动转回
₹实体格式,完整保留原始实体文本,不会出现无法编码的原生特殊字符 - 显式指定文件写入的utf-8编码,从IO层面规避本地编码的兼容问题,文件写入流程可正常完成
内容的提问来源于stack exchange,提问作者Kumar Saptam
相关产品推荐
相关产品推荐

