如何让spaCy的词性标注器（POS tagger）支持俄语？

我完全懂你现在的困扰——已经搞定了俄语的tag_map配置，pymorphy2也能正常输出详细语法标注，但用spaCy 2.0.11加载俄语模型处理句子时，token的pos_和tag_居然是空字符串，这确实挺闹心的。

先把你的问题场景明确下来：

问题复现代码 #

import spacy
nlp = spacy.load('ru')
doc = nlp('Я люблю яблоки')
print(doc[0].pos_, doc[0].tag_) # 输出 '', ''

你的环境信息 #

• spaCy版本：2.0.11
• 已安装模型：en、ru
• 平台：Linux-4.4.0-116-generic-x86_64-with-Ubuntu-16.04-xenial
• Python版本：3.5.2
• spaCy安装路径：/usr/local/lib/python3.5/dist-packages/spacy

核心原因&解决方案 #

spaCy 2.x的俄语模型本身没有内置完整的POS标注器和标签映射配置，哪怕你自己设置了tag_map，也需要确保模型能正确调用pymorphy2的标注结果并完成映射。给你几个可行的解决方向：

1. 手动绑定pymorphy2标注结果到spaCy Token
   既然你已经有pymorphy2的环境，可以直接在文本处理后手动给每个token赋值POS和标签：

   import spacy
   from pymorphy2 import MorphAnalyzer
   
   nlp = spacy.load('ru')
   morph = MorphAnalyzer()
   
   doc = nlp('Я люблю яблоки')
   for token in doc:
       parsed = morph.parse(token.text)[0]
       # 从pymorphy2结果中提取POS和完整标签
       token.pos_ = parsed.tag.POS or 'UNKNOWN'
       token.tag_ = str(parsed.tag)
   
   print(doc[0].pos_, doc[0].tag_) # 现在会输出正确标注，比如 'NPRO' 'NPRO,anim,masc,sing,nom'
   

2. 升级spaCy到更高版本（强烈推荐）
   spaCy 2.0.11是比较老旧的版本，后续3.x版本对俄语模型的支持完善了很多，内置了和pymorphy2的集成，POS标注能正常工作。你可以按以下步骤操作：

   pip uninstall spacy -y
   pip install spacy
   # 重新下载官方俄语核心模型
   python -m spacy download ru_core_news_sm
   

   之后用新的模型加载方式：

   import spacy
   nlp = spacy.load('ru_core_news_sm')
   doc = nlp('Я люблю яблоки')
   print(doc[0].pos_, doc[0].tag_) # 能直接输出正确的POS和标签
   

3. 检查自定义tag_map的加载状态（仅针对2.0.11版本）
   如果坚持用旧版本，需要确保你的自定义tag_map已经正确注册到spaCy的俄语语言类中：

   import spacy
   from spacy.lang.ru import Russian
   
   # 先检查默认tag_map是否为空
   print(Russian.Defaults.tag_map)
   # 如果自定义tag_map未加载，手动更新
   Russian.Defaults.tag_map = your_custom_tag_map
   # 加载模型时禁用不需要的组件，减少干扰
   nlp = spacy.load('ru', disable=['parser', 'ner'])
   

补充说明：spaCy 2.x的ru模型是轻量模型，很多标注组件本身就是缺失的，这也是直接调用会输出空值的核心原因。

内容的提问来源于stack exchange，提问作者happy_marmoset