Python中泰米尔语字符串长度计数异常问题咨询

核心原因 #

Python的len()函数统计的是字符串的Unicode码点（code points）数量，而非人类视觉/语言认知里的“单个字母”（grapheme clusters，即用户感知的独立字符单元）。

泰米尔语属于元音附标文字，很多视觉上的单个字母其实是由辅音字符+元音附标/变音符号多个Unicode码点组合而成的：

• 你提到的泰米尔语名字குமார்，视觉上是3个字母，但拆解后是6个Unicode码点：
  • கு = 辅音க（U+0B95） + 元音附标ு（U+0BC1）
  • மா = 辅音ம（U+0BAE） + 元音附标ா（U+0BBE）
  • ர் = 辅音ர（U+0BB0） + 静音符号்（U+0BCD）
    所以len('குமார்')返回6，和预期的3不符。

解决方法 #

如果要统计符合语言认知的“字母”数量，需要识别字符串中的grapheme clusters，推荐使用第三方库regex（注意不是Python标准库的re），它支持\X模式匹配完整的grapheme cluster：

import regex
tamil_name = 'குமார்'
print(len(regex.findall(r'\X', tamil_name)))  # 输出3，符合预期

如果不想用第三方库，也可以通过unicodedata模块手动判断码点的组合规则，但逻辑会比较复杂，不如regex简洁可靠。

内容的提问来源于stack exchange，提问作者Manoj