如何获取含IPA字符的Unicode字符串的最后一个完整字符？

问题描述 #

我正在解析一个包含普通ASCII字符串和带IPA发音的Unicode/UTF-8字符串的文件，需要获取字符串的最后一个完整字符，但部分IPA字符由多个Unicode码点组成（比如l̩是字母l加上变音符号̩）。

示例代码：

syl = 'tyl'  # 普通ASCII字符串
last_char = syl[-1]
# 结果正确：'l'

syl = 'tl̩'  # 包含IPA字符
last_char = syl[-1]
# 结果错误：只拿到了变音符号'̩'，实际需要完整的'l̩'

尝试使用.decode()方法时出现报错：

'str' object has no attribute 'decode'

请问在无法区分字符串是ASCII还是Unicode的情况下，如何获取Unicode/UTF-8字符串的最后一个完整字符？我考虑过用已知字符查找表，失败时取syl[-2:]，有没有更简便的方法？

补充：目前收集到的完整IPA字符列表：

a, b, d, e, f, f̩, g, h, i, i̩, i̬,
j, k, l, l̩, m, n, n̩, o, p, r, s,
s̩, t, t̩, t̬, u, v, w, x, z, æ, ð,
ŋ, ɑ, ɑ̃, ɒ, ɔ, ə, ɚ, ɛ, ɜ, ɜ˞, ɝ,
ɡ, ɪ, ɵ, ɹ, ɾ, ʃ, ʃ̩, ʊ, ʌ, ʒ, ʤ,
θ, ∅

解决方案 #

方法1：用标准库unicodedata实现通用判断 #

Unicode中，̩这类变音符号属于非间距组合字符（Non-Spacing Mark），类别标识以Mn开头。我们可以从字符串末尾往前遍历，跳过所有这类组合字符，直到找到一个基础字符，截取从该位置到末尾的内容就是完整字符：

import unicodedata

def get_last_full_char(s):
    if not s:
        return ''
    idx = len(s) - 1
    # 从末尾往前跳过所有非间距组合字符
    while idx >= 0 and unicodedata.category(s[idx]).startswith('Mn'):
        idx -= 1
    return s[idx:] if idx >= 0 else s[-1:]

# 测试示例
print(get_last_full_char('tyl'))  # 输出 'l'
print(get_last_full_char('tl̩'))  # 输出 'l̩'
print(get_last_full_char('ɑ̃'))   # 输出 'ɑ̃'

方法2：用第三方库grapheme快速处理 #

如果可以安装第三方库，grapheme专门用于识别Unicode视觉上的单个字符（ grapheme簇），用法更简洁：
首先安装库：

pip install grapheme

然后调用：

import grapheme

def get_last_full_char(s):
    if not s:
        return ''
    return list(grapheme.graphemes(s))[-1]

# 测试示例
print(get_last_full_char('tyl'))  # 输出 'l'
print(get_last_full_char('tl̩'))  # 输出 'l̩'
print(get_last_full_char('ɜ˞'))  # 输出 'ɜ˞'

不推荐字符查找表的原因 #

你提到的已知字符查找表方案局限性极强：一旦遇到未收录的IPA扩展符号就会失效，而上面两种方法基于Unicode标准，能覆盖所有符合规范的组合字符，通用性更强。

内容的提问来源于stack exchange，提问作者slashdottir