如何使用正则匹配并删除UTF-8文本中指定十六进制编码的特殊字符

问题原因说明 #

你之前的Perl命令失效是因为utf8::all会自动将输入的UTF-8字节解码为Unicode字符，你写的\xf4\x80\x91\x9a是原始字节序列，解码后对应的是单个Unicode码点，因此无法匹配。

可用解决方案 #

方法1：修正Perl命令

• 按原始字节处理（无需解码UTF-8），直接移除目标字节序列：

perl -pE 's/\xf4\x80\x91\x9a//g; s/\xf4\x80\x91\x9d//g' 1.txt > 2.txt

• 按Unicode码点匹配（适合需要同时处理其他UTF-8字符的场景），两个目标字符对应的Unicode码点为U+F045A和U+F045D：

perl -Mutf8::all -pE 's/\x{F045A}//g; s/\x{F045D}//g' 1.txt > 2.txt

• 通用批量移除：如果要删除所有同类型的私有使用区（PUA）图标字符，直接匹配Unicode补充私用区A的完整范围即可，不需要逐个添加字符：

perl -Mutf8::all -pE 's/[\x{F0000}-\x{FFFFD}]//g' 1.txt > 2.txt

方法2：使用GNU sed处理

GNU sed支持直接匹配字节序列，命令如下：

sed 's/\xf4\x80\x91\x9a//g;s/\xf4\x80\x91\x9d//g' 1.txt > 2.txt

方法3：使用Python脚本处理

适合跨平台场景，兼容性更好：

with open("1.txt", "r", encoding="utf-8") as f:
    text = f.read()

# 仅移除指定两个字符
text = text.replace("\U000f045a", "").replace("\U000f045d", "")

# 通用版本：移除所有补充私用区A的特殊字符，替换上面一行即可
# text = "".join([c for c in text if not 0xF0000 <= ord(c) <= 0xFFFFD])

with open("2.txt", "w", encoding="utf-8") as f:
    f.write(text)

Sublime编辑器中匹配方法

打开搜索面板，开启正则匹配模式，直接输入Unicode码点\x{F045A}、\x{F045D}即可匹配对应的特殊字符。

内容的提问来源于stack exchange，提问作者jonah_w