Python 3如何对包含\x转义序列的字符串进行反转义处理

问题描述 #

现有如下字符串，字符串内的转义序列以字面量形式存在（比如\x20是直接拼接在字符串里的反斜杠、x、2、0四个字符，不是实际的空格字符）：

>>> s = "aaa\\x20bbbb"

需要完成反转义操作，将字面量形式的转义序列转换为对应的实际字符，预期得到普通可读字符串。目前临时方案是逐个调用replace()方法替换单种转义字符，但该方案只能处理单一类型的转义，无法覆盖通用场景：

>>> s.replace("\\x20"," ")

可用解决方案 #

1. 通用转义全支持方案 #

使用Python标准库codecs的unicode_escape解码逻辑，可一次性处理所有十六进制转义（如\x20）、常规控制字符转义（如\n换行、\t制表符）、Unicode转义（如\u4e2d），无需手动枚举所有转义类型：

import codecs

s = "aaa\\x20bbbb"
processed_s = codecs.decode(s, "unicode_escape")
print(processed_s)  # 输出结果: aaa bbbb

2. 安全解析Python字面量方案 #

如果待处理字符串完全符合Python字符串字面量的转义规则，可以使用ast模块的literal_eval方法，该方法不会执行任意代码，安全性更高：

import ast

s = "aaa\\x20bbbb"
# 给原字符串包裹双引号，构造合法的Python字符串字面量再解析
processed_s = ast.literal_eval(f'"{s}"')
print(processed_s)  # 输出结果: aaa bbbb

注意：如果原字符串本身包含未转义的双引号，使用该方法前需要先对字符串内的双引号做转义处理，否则会触发语法错误。

方案说明 #

• 手动调用replace()的方式只适合转义字符类型固定、种类极少的场景，一旦出现未提前覆盖的转义序列（比如\n、\x0a、\u开头的Unicode转义）就会失效，后续维护成本高
• codecs的unicode_escape解码方案适配范围最广，不需要提前对原字符串做额外处理，能覆盖所有Python标准定义的转义序列，适合绝大多数通用反转义场景
• ast.literal_eval方案安全性最高，只会解析合法的Python字面量，不会执行任意代码，但要求输入内容符合Python字符串语法，如果原字符串里有未转义的引号、反斜杠需要提前处理，否则会解析报错

内容的提问来源于stack exchange，提问作者ArekBulski