Python与MySQL utf8mb4_unicode_520_ci字符判重不一致如何解决

问题根因 #

两边判定结果不一致的核心原因是字符串比较规则完全不统一：

• Python原生字符串==是逐Unicode码位精确匹配，只要两个字符的码位存在差异就会判定不等。案例中的girisken使用普通小写s（U+0073），girişken使用带软音符的s（U+015F），码位不同，原生比较自然返回False。
• MySQL的utf8mb4_unicode_520_ci是基于Unicode 5.2标准实现的排序规则，比较时会按照规则对字符做大小写折叠、兼容字符归一、变音符号忽略处理，两个字符串在该规则下排序权重完全一致，因此会被判定为重复。

解决方案 #

根据业务需要对齐的基准选择对应方案即可：

方案1：对齐MySQL现有排序规则（推荐，改动成本最低）

让Python侧的比较逻辑和utf8mb4_unicode_520_ci保持一致，入库前做和MySQL同源的规则校验即可：

• 先通过Python标准库unicodedata做NFKC归一化，统一兼容字符的表示形式
• 用第三方库pyuca加载Unicode 5.2版本的排序权重表，通过比较排序键判断字符串是否相等，结果和MySQL的判定完全对齐

示例代码：

import unicodedata
from pyuca import Collator

# 加载Unicode 5.2权重表，和MySQL utf8mb4_unicode_520_ci规则匹配
collator = Collator("allkeys-5.2.0.txt")

def is_equal_with_mysql(s1: str, s2: str) -> bool:
    s1_norm = unicodedata.normalize("NFKC", s1)
    s2_norm = unicodedata.normalize("NFKC", s2)
    return collator.sort_key(s1_norm) == collator.sort_key(s2_norm)

# 测试用例
a = 'girisken'
b = 'girişken'
print(is_equal_with_mysql(a, b))  # 输出True，和MySQL判定结果一致

• 如果业务涉及土耳其语等特殊语言的专属排序需求，建议把MySQL排序规则替换为utf8mb4_turkish_ci，同时替换pyuca加载的对应语言排序规则，避免通用Unicode规则不符合本地语言习惯。

方案2：对齐Python原生精确比较规则

如果业务要求字符必须精确匹配（比如存储用户自定义精确ID、编码类字段），直接修改MySQL字段的排序规则为精确匹配类型即可：

• 优先选择utf8mb4_bin：二进制逐字节比较，和Python原生字符串==逻辑完全一致，比较性能最高
• 如果需要保留大小写/重音敏感的自然语言排序，可以选择utf8mb4_unicode_520_cs
• 注意：如果该字段已经创建了唯一索引，修改排序规则前必须先排查存量数据，避免规则变更后出现重复键报错。

内容的提问来源于stack exchange，提问作者yvgwxgtyowvaiqndwo