如何用Python去除文本特殊样式？Unicode NFKC标准化失效求助

问题分析 #

你遇到的情况是：

• msg1 中的字符是数学斜体变体，属于Unicode兼容字符，NFKC 归一化可以直接将其映射为普通ASCII字母；
• msg2 中的是小型大写拉丁字母（如 ʜ 对应U+029C），msg3 中的是加拿大音节字母（如 ᕼ 对应U+157C），这些是独立的Unicode码点，不属于兼容变体范畴，因此 NFKC 无法处理。

解决方案 #

方法1：使用 unidecode 库（简单高效）

unidecode 库专门用于将Unicode字符转换为ASCII近似字符，能覆盖绝大多数特殊样式字母的转换需求。

1. 安装库：

pip install unidecode

2. 代码实现：

from unidecode import unidecode

msg1 = '𝒉𝒊 𝒗𝒂𝒏𝒊𝒙 𝒏𝒆𝒘'
msg2 = 'ʜɪ ɴᴇᴡ ᴀᴄᴄ ʙʏ ɪɴᴅᴇхᴀᴛ'
msg3 = 'ᕼI ᐯᗩᑎI᙭ ᑎᗴᗯ ᕼIT'

print(unidecode(msg1))  # 输出: hi vanix new
print(unidecode(msg2))  # 输出: hi new acc by indexat
print(unidecode(msg3))  # 输出: HI VANIX NEW HIT

方法2：纯Python实现（无需第三方库）

如果不想依赖外部库，可以通过 unicodedata 模块获取字符名称，提取其中对应的普通字母：

import unicodedata

def convert_special_chars(text):
    result = []
    for char in text:
        if char.isspace():
            result.append(char)
            continue
        # 获取字符的Unicode名称，若不存在则保留原字符
        char_name = unicodedata.name(char, '')
        if not char_name:
            result.append(char)
            continue
        # 从名称中提取核心字母（如"LATIN LETTER SMALL CAPITAL H"提取H）
        letter = char_name.split()[-1]
        # 根据原字符的大小写决定输出字母的大小写
        if char.islower():
            result.append(letter.lower())
        else:
            result.append(letter.upper())
    return ''.join(result)

def normalize_text(text):
    # 先执行NFKC归一化处理兼容字符（如数学斜体）
    normalized = unicodedata.normalize('NFKC', text)
    # 再处理剩余特殊字符
    return convert_special_chars(normalized)

msg1 = '𝒉𝒊 𝒗𝒂𝒏𝒊𝒙 𝒏𝒆𝒘'
msg2 = 'ʜɪ ɴᴇᴡ ᴀᴄᴄ ʙʏ ɪɴᴅᴇхᴀᴛ'
msg3 = 'ᕼI ᐯᗩᑎI᙭ ᑎᗴᗯ ᕼIT'

print(normalize_text(msg1))  # 输出: hi vanix new
print(normalize_text(msg2))  # 输出: hi new acc by indexat
print(normalize_text(msg3))  # 输出: HI VANIX NEW HIT

说明 #

• unidecode 方法更通用，能处理更多边缘情况（如非拉丁语系的近似转换）；
• 纯Python方法仅依赖标准库，适合无法安装第三方库的场景，对示例中的三类字符完全适用。

内容的提问来源于stack exchange，提问作者Rahul Goel