为何SpaCy俄文NER对直接输入与音译得到的相同字符串识别结果不同

开发者阿泽

2026-9-25

可能的原因如下：

编码核查方式错误
你提到的「对应字符ASCII编码完全一致」本身不成立：俄语字符不属于ASCII编码范围，你核查的维度错误。建议逐字符对比两个字符串的Unicode编码：用print([ord(c) for c in ru_trans])和print([ord(c) for c in 'Иванов Виталий'])输出对比，同时用print(repr(ru_trans))检查音译结果是否包含零宽空格、控制字符等肉眼不可见的特殊字符，另外确认音译出来的姓氏Иванов首字母是否为大写，俄文NER对人名首字母大小写非常敏感，小写的姓氏大概率不会被判定为人名的组成部分。
分隔符差异
两个字符串的词间分隔符可能不一致：音译输出的词间可能是全角空格、多空格、制表符等特殊分隔符，而你手动输入的是标准半角单空格。SpaCy俄文模型的训练数据里人名均为半角空格分隔，非常规分隔符会打断NER对人名整体的识别，导致仅识别到后面的名字部分。
自定义音译包的同形字符映射偏差
你的自定义音译规则可能将某个字符映射为和俄文同形但Unicode编码不同的字符：比如拉丁字符和西里尔字符的同形字（如西里尔字母в和拉丁字母v、西里尔с和拉丁c肉眼几乎无差别但编码完全不同），SpaCy模型无法识别非西里尔字符组成的姓氏，自然不会把它判定为人名的一部分。
模型管道状态不一致
如果两次调用nlp_ru时模型管道的配置发生了变更：比如第一次调用前你加载了自定义的实体 ruler、分词规则，或者修改了NER的阈值，都会导致相同输入得到不同的识别结果。建议在每次调用前重新初始化俄文SpaCy模型，排除管道状态差异的影响。