You need to enable JavaScript to run this app. 使用BeautifulSoup时如何保留HTML十六进制实体并规避写文件编码报错
优惠活动
大模型
产品
解决方案
定价
更多

使用BeautifulSoup时如何保留HTML十六进制实体并规避写文件编码报错

问题复现与根因定位

实际开发场景

使用BeautifulSoup处理包含十六进制HTML实体的HTML片段时,将解析完成的BS对象转成字符串写入本地文件,触发运行时报错。

核心复现代码

from bs4 import BeautifulSoup
a=BeautifulSoup('<p class="t5">₹ 10,000 or $ 133.46</p>')
b=open('file.html','w')
b.write(str(a))

报错表现

程序抛出UnicodeEncodeError错误,核心报错信息为:

'charmap' codec can't encode character '\u20b9' in position 19038: character maps to <undefined>

经排查确认:

  • 报错触发点为文件写入环节,BS对象直接转字符串的流程可正常执行
  • 错误诱因与HTML内容中的&#x20b9;(印度卢比符号对应的十六进制实体)直接相关
  • 此前查阅的相关资料均聚焦于HTML实体转Unicode字符的实现方向,与当前需要保留原始实体文本的需求不匹配,无法直接套用

问题根因

两个环节的默认逻辑叠加触发了问题:

  • BS解析阶段:BeautifulSoup默认会将所有可识别的HTML实体(含十进制/十六进制数值实体)解码为对应的原生Unicode字符,示例中的&#x20b9;会被解析为Unicode字符\u20b9(₹)存储在DOM节点中
  • 序列化输出阶段:BS默认使用minimal格式化规则生成字符串,仅会对<、>、&等HTML语法特殊字符做实体转义,不会对非ASCII的Unicode字符做实体转换,因此原生的₹字符会直接出现在最终的输出字符串中
  • 文件写入阶段:Windows系统下open()方法默认使用本地charmap编码(通常为cp1252),该编码不支持₹这类超出ASCII范围的特殊字符,最终触发编码报错
适配需求的解决方案

目标:BS对象序列化输出时,不将原有的&#x20b9;内容保留为原生Unicode字符,完整保留原始HTML实体文本,同时保障文件写入流程正常执行。

调整后可运行代码

from bs4 import BeautifulSoup
# 初始化BS对象,指定解析器
soup = BeautifulSoup('&lt;p class=&quot;t5&quot;&gt;&amp;#x20b9; 10,000 or $ 133.46&lt;/p&gt;', 'html.parser')
# 序列化时使用html格式化规则,自动将特殊Unicode字符转回对应HTML实体
output_str = soup.decode(formatter='html')
# 写文件时显式指定utf-8编码,规避本地默认编码的兼容问题
with open('file.html', 'w', encoding='utf-8') as f:
    f.write(output_str)

方案效果

  • 序列化输出时,原本被解析为原生₹的内容会被自动转回&#x20b9;实体格式,完整保留原始实体文本,不会出现无法编码的原生特殊字符
  • 显式指定文件写入的utf-8编码,从IO层面规避本地编码的兼容问题,文件写入流程可正常完成

内容的提问来源于stack exchange,提问作者Kumar Saptam

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.24 00:24:02