Python中utf-8解码无法处理\u00e1类特殊转义字符如何解决

字符类型说明 #

\u00e1属于Unicode转义序列，是JSON规范中用于表示非ASCII字符的标准格式，\u后跟随4位十六进制数对应的Unicode码点，00e1对应的就是拉丁字符á。

问题根因 #

你的代码存在多余的序列化操作，导致转义序列被二次封装无法识别：

• response.content.decode('utf-8')执行完成后，已经得到了正常的UTF-8编码字符串，其中的\u00e1本可以被json.loads直接解析
• 额外调用的json.dumps()方法会自动将所有非ASCII字符转换为\uXXXX的转义格式，相当于给原有转义又套了一层，才导致后续无法正常解析出可读字符。

解决方案 #

标准处理流程 #

因为你需要先移除HTML标签，按以下顺序执行即可：

1. 先将接口返回的字节内容解码为UTF-8字符串
2. 调用cleanhtml方法移除字符串中的HTML标签
3. 直接用json.loads解析处理后的字符串，不需要额外做序列化/反序列化操作
   代码示例：

# 字节解码为原始字符串
raw_content = response.content.decode('utf-8')
# 移除HTML标签
cleaned_content = cleanhtml(raw_content)
# 直接解析JSON
result = json.loads(cleaned_content)

特殊情况处理 #

如果因为接口返回不规范，转义序列已经被多次转义，可通过unicode_escape编码做二次解码处理：

# 二次解码处理转义序列
fixed_content = cleaned_content.encode('utf-8').decode('unicode_escape')
result = json.loads(fixed_content)

不需要手动写replace逐个替换转义字符，该方法可以自动处理所有Unicode转义序列。

内容的提问来源于stack exchange，提问作者OdiumPura