为何NLTK使用universal标签集时将there标注为DET限定词？

这不是NLTK词性标注器的漏洞，是你对Universal标签集的标签合并规则不够了解导致的认知偏差，具体原因如下：

• 你提到的默认标签集是Penn Treebank标签集，这个标签集为存在句中的虚指there单独设置了EX专属标签，识别逻辑本身是准确的，你观察到的默认标签集输出正确的情况没有问题。
• Universal标签集是为了跨语言统一设计的简化粗粒度标签集，它会将Penn标签集的细粒度标签做合并归类，NLTK内置的Penn到Universal标签的映射规则里，明确把EX标签统一归类到DET（限定词）大类下，并不是标注器识别错误。
• 你会觉得there应该归为代词，是混淆了两类there的语义：作地点状语、有实际指代意义的there确实属于副词/代词范畴，对应Penn标签RB，会被映射到Universal标签的ADV；但存在句中的虚指there没有实际语义，仅作为句法占位符，Universal标签集设计时就将这类特殊虚词统一归入限定词大类，和普通代词做了区分。

如果你的业务场景需要把存在性there单独归类为代词，可以先用默认Penn标签集完成标注，再自定义映射规则调整EX对应的标签类别即可，无需修改NLTK底层的标注逻辑。

内容的提问来源于stack exchange，提问作者sgduran91