Python unicodedata归一化i̇字符长度未变，求原因及替代方案

我正在使用Python的unicodedata模块对字符串进行归一化处理，但遇到了特殊字符i̇（带上方点的拉丁小写字母i，Unicode U+0069 U+0307）的异常行为。目标是用不同归一化形式处理该字符，但所有形式下长度都没变化。

测试代码 #

import unicodedata

test_string = "i̇"
print("Original length:", len(test_string))
print("NFKC normalized length:", len(unicodedata.normalize('NFKC', test_string)))
print("NFD normalized length:", len(unicodedata.normalize('NFD', test_string)))
print("NFC normalized length:", len(unicodedata.normalize('NFC', test_string)))
print("NFKD normalized length:", len(unicodedata.normalize('NFKD', test_string)))

输出结果 #

Original length: 2
NFKC normalized length: 2
NFD normalized length: 2
NFC normalized length: 2
NFKD normalized length: 2

问题原因 #

1. NFD/NFKD无变化：你的输入字符串已经是分解形式（NFD）——由基础字符U+0069（小写i）和组合标记U+0307（上方点）组成。NFD的作用是把预组合字符拆成基础字符+组合标记，而输入本身就是分解态，所以处理后长度不变。NFKD是兼容性分解，仅针对视觉相同但编码不同的兼容性字符（比如全角数字、老式印刷字符），你的字符不属于这类，因此也不会改变。
2. NFC/NFKC无变化：NFC会将可组合的字符合并为单一预组合码点，但Unicode标准中不存在对应U+0069+U+0307的预组合小写带点i码点——标准里的U+0130是大写带点I，U+0131是小写无点ı，小写带点i本身就是基础i加组合点的形式，因此NFC无法合并，长度保持2。

其他处理方法 #

• 移除组合标记：如果只需要保留基础字符，可以筛选掉组合标记：

  import unicodedata
  test_string = "i̇"
  stripped_str = ''.join(c for c in test_string if not unicodedata.combining(c))
  print(stripped_str)  # 输出"i"，长度1
  

• 转换为土耳其语无点ı：如果是针对土耳其语场景，想要转成无点的小写ı，可以使用第三方库unidecode（需先通过pip install unidecode安装）：

  from unidecode import unidecode
  print(unidecode("i̇"))  # 输出"ı"
  

• 区域化字符处理：针对特定语言（如土耳其语）的字符规则，可结合locale模块设置对应区域后处理，但配置相对复杂，适合有明确语言场景的需求。

内容的提问来源于stack exchange，提问作者Veli Eroglu