Unicode字符串正则替换异常：非指定字符被多下划线替换

我来帮你分析下为啥会出现每个非法字符被替换成多个下划线的情况，以及怎么解决：

问题根源 #

你的代码有两个核心问题：

1. 正则里的HTML实体写错了：你用了&、<、>这些HTML实体符号，但正则匹配的是实际字符，所以这些实体对应的真实字符（&、<、>）并没有被加入允许的字符集，反而会被当成非法字符替换。
2. Unicode字符的代码点匹配问题：Python 2的标准re模块在启用re.UNICODE后，还是按单个Unicode代码点来匹配字符。而有些视觉上的单个字符（比如带变音符号的Ä如果是由基础字符A+组合变音符号构成，或者某些Emoji）其实是多个代码点组成的。你的正则会把每个非法代码点都替换成下划线，所以就出现了多个下划线的情况。

解决方案 #

方案1：修复正则+字符归一化（用标准库，无需第三方依赖）

先把正则里的HTML实体换成真实字符，再用unicodedata.normalize把字符串转换成NFC格式，把组合字符合并成单个代码点，这样每个视觉字符就对应一个代码点，替换时只会生成一个下划线。

代码示例：

# coding: utf-8
import re
import unicodedata

t = "🙂 [°] \n € dsf $ ¬ 1 Ä 2 t3¥4Ú"
# 归一化到NFC，将组合字符合并为单个代码点
normalized_t = unicodedata.normalize('NFC', t)
# 修正正则：把HTML实体替换成实际允许的字符
allowed_pattern = r'[^A-Za-z0-9 !#%&()*+,-./:;<=>?[\]^_{|}~"\'\\]'
result = re.sub(allowed_pattern, '_', normalized_t, flags=re.UNICODE)
print(result)

方案2：使用第三方regex库匹配视觉字符（更可靠）

如果你想更稳妥地处理所有Unicode视觉字符（比如复杂Emoji、罕见的组合字符），可以用专门支持Unicode grapheme clusters的regex库，它的\X语法可以匹配视觉上的单个字符，不管它由多少个代码点组成。

步骤：

1. 先安装库：pip install regex
2. 替换代码：

# coding: utf-8
import regex

t = "🙂 [°] \n € dsf $ ¬ 1 Ä 2 t3¥4Ú"
# 用\X匹配单个视觉字符，排除允许的字符集后替换成下划线
result = regex.sub(r'(?![A-Za-z0-9 !#%&()*+,-./:;<=>?[\]^_{|}~"\'\\])\X', '_', t)
print(result)

验证结果 #

这两个方案都能输出你想要的结果：_ [_] _ _ dsf _ _ 1 _ 2 t3_4_

内容的提问来源于stack exchange，提问作者vlad_tepesch