如何在Python中用正则表达式选择性替换Unicode字符？

核心思路 #

你需要区分两种不同的Unicode相关内容：

• 要移除的是文本中以\u开头的转义序列（如\u2002）——这是由\、u和四位十六进制数字组成的字符串片段；
• 要保留的是实际的Unicode字符（如’）——这类字符在字符串中是单个独立字符，并非\uXXXX的转义形式。

之前的方案出错，是因为它们误把实际的Unicode字符当成了目标处理对象。

实现代码 #

使用Python的re模块，精准匹配\uXXXX格式的转义序列并移除：

import re

def strip_u_escape(s):
    # 匹配 \u 后跟四位十六进制数（大小写兼容）的转义序列
    return re.sub(r'\\u[0-9a-fA-F]{4}', '', s)

# 测试验证
case1 = r"\u2002pandemic"  # 原始字符串保留转义符，或写成 "\\u2002pandemic"
case2 = "master’s"

print(strip_u_escape(case1))  # 输出: pandemic
print(strip_u_escape(case2))  # 输出: master’s

注意事项 #

如果你的字符串是从外部源（如文件、接口）读取的，需确认\uXXXX是以文本字符组合存在（即字符串中实际包含\、u和数字），而非Python已经解析后的Unicode字符。若字符串已被解析为实际Unicode字符（如"\u2002pandemic"会被Python转为带空格的字符串），则需求变为移除特定不可见Unicode字符，需调整正则匹配实际字符范围。

内容的提问来源于stack exchange，提问作者user1627466