为何同一日文字符ボ有两种UTF-8字节表示？如何将6字节版转为3字节版

你遇到的是Unicode字符规范化形式差异的问题，两个看起来完全相同的ボ属于Unicode定义的规范等价字符，语义完全一致，只是存储形式不同：

• 3字节版本是NFC（预组合规范化形式），对应单个Unicode码位U+30DC，UTF-8编码为e3 83 9c，普通文本文件、XML默认使用这种单码位预组合的存储形式。
• 6字节版本是NFD（分解规范化形式），拆分为两个独立的Unicode码位：基础片假名U+30DB（ホ，UTF-8编码e3 83 9b） + 组合型浊音标记U+3099（UTF-8编码e3 82 99）。macOS的APFS文件系统存储文件名时，默认会将东亚字符转换为NFD格式存储，这就是你从文件名提取的字符是6字节的原因。

普通编码检测工具只会识别整体编码为UTF-8，不会检测到规范化形式的差异，而grep默认按字节匹配内容，所以两种不同存储形式的同一个字符会匹配失败。

要将NFD格式的6字节ボ转换为NFC格式的3字节版本，可直接使用Unicode规范化转换工具，以下是常用的命令行方案：

单个字符/文本批量转换 #

使用Python单行命令即可完成转换（macOS自带Python3，无需额外安装工具）：

# 转换文本文件内容
python3 -c "import unicodedata, sys; print(unicodedata.normalize('NFC', sys.stdin.read()), end='')" < 输入文件路径 > 输出文件路径

# 直接转换管道输入的字符串
printf "待转换的6字节ボ" | python3 -c "import unicodedata, sys; print(unicodedata.normalize('NFC', sys.stdin.read()), end='')"

grep匹配场景快速解决 #

如果需要用文件名内容匹配XML内容，可以先把文件名转成NFC格式再执行grep：

grep "$(echo "你的文件名" | python3 -c "import unicodedata, sys; print(unicodedata.normalize('NFC', sys.stdin.read()), end='')")" 你的XML文件路径

内容的提问来源于stack exchange，提问作者ychz