Python中统一字符串特殊字符的实现方法咨询

需求匹配处理逻辑 #

针对你提到的几种统一规则，核心需要完成三类处理：

• 移除重音符号，将带重音的字符转换为对应普通ASCII字符（如è/é→e，ñ→n）
• 去除撇号（如shouldn't→shouldnt）
• 统一空格与连字符（将两种分隔符视为等价，可选择合并为无分隔、单空格或单连字符）

实现方案 #

方案1：轻量自定义实现（依赖unidecode库） #

unidecode是专门处理Unicode转ASCII的工具，能完美解决重音符号问题，配合字符串替换即可覆盖所有需求。

1. 安装依赖：

pip install unidecode

2. 编写归一化函数：

from unidecode import unidecode

def normalize_text(s):
    # 1. 移除重音，转成ASCII字符
    processed = unidecode(s)
    # 2. 去掉撇号
    processed = processed.replace("'", "")
    # 3. 统一空格与连字符（这里选择直接移除，也可替换为空格/连字符）
    processed = processed.replace("-", "").replace(" ", "")
    # 可选：统一转为小写，消除大小写差异
    processed = processed.lower()
    return processed

3. 测试验证：

test_samples = [
    "renè", "rené", "rene'", "rene",
    "mañana", "manana",
    "even-distribuited", "even distribuited",
    "shouldn't", "shouldnt"
]

for sample in test_samples:
    print(f"{sample} → {normalize_text(sample)}")

输出结果所有同组字符串都会被转为相同值：

• renè/rené/rene'/rene → rene
• mañana/manana → manana
• even-distribuited/even distribuited → evendistribuited
• shouldn't/shouldnt → shouldnt

如果需要保留分隔符（比如统一为空格），可修改第三步为：

# 统一替换为空格，再合并连续空格
processed = processed.replace("-", " ")
processed = ' '.join(processed.split())

方案2：基于Django Slugify扩展 #

Django的slugify默认已处理重音、空格转连字符，但不会主动移除撇号，只需简单扩展即可满足需求：

from django.utils.text import slugify

def custom_slugify(s):
    # 先移除撇号
    s = s.replace("'", "")
    # 调用原生slugify处理重音、分隔符
    return slugify(s)

使用这个函数，shouldn't会转为shouldnt，even-distribuited和even distribuited都会转为even-distribuited，完全符合你的匹配要求。

内容的提问来源于stack exchange，提问作者fabio