NLTK命名实体识别异常：句首姓氏被识别为ORGANIZATION求助

在使用NLTK的ne_chunk进行命名实体识别时，会出现句首人名的姓氏被误判为ORGANIZATION的情况。例如句子"Barack Obama and Michelle Obama visited New York last week"，提取出的人名是['Barack', 'Michelle Obama']，而预期结果是['Barack Obama', 'Michelle Obama']。查看NER树可发现，句首的Obama被标记为ORGANIZATION类型；但在句子前添加前缀（如"As per our sources, Barack Obama and Michelle Obama visited New York last week"）后，就能正常识别完整人名。

问题原因 #

NLTK的maxent_ne_chunker模型依赖语境判断实体类型，"Obama"本身既可以作为人名姓氏，也可能关联到以其命名的组织（如奥巴马基金会）。当人名出现在句首时，缺乏足够的前置语境，模型容易误将姓氏归类为组织。

解决方案 #

可以通过手动处理连续专有名词（NNP标签）的方式修正这种误判。因为人名通常由连续的专有名词组成，我们在遍历NER树时，可将连续的NNP与已识别的PERSON实体合并：

import nltk
from nltk import word_tokenize, pos_tag, ne_chunk
 
nltk.download('punkt')
nltk.download('maxent_ne_chunker')
nltk.download('words')

sentence = "Barack Obama and Michelle Obama visited New York last week"
 
words = word_tokenize(sentence)
tagged_words = pos_tag(words)
ner_tree = ne_chunk(tagged_words)

names = []
current_person = []

for node in ner_tree:
    # 处理NER树中的实体节点
    if isinstance(node, nltk.Tree):
        if node.label() == 'PERSON':
            # 将当前PERSON节点的词加入当前人名列表
            current_person.extend([word for word, _ in node])
        else:
            # 遇到非PERSON实体，先保存已收集的人名
            if current_person:
                names.append(' '.join(current_person))
                current_person = []
    else:
        # 处理普通词性标注节点
        word, tag = node
        # 如果当前正在收集人名，且当前词是专有名词，直接加入
        if tag == 'NNP' and current_person:
            current_person.append(word)
        else:
            # 非专有名词，保存已收集的人名并清空
            if current_person:
                names.append(' '.join(current_person))
                current_person = []

# 处理最后一个未保存的人名
if current_person:
    names.append(' '.join(current_person))

print(names)
# 输出: ['Barack Obama', 'Michelle Obama']

其他思路 #

• 添加语境前缀：如你已经发现的，给句子添加前置语境可以让模型正确识别，但这种方法不够通用，不适用于所有句首人名的场景。
• 更换NER模型：如果对识别精度要求较高，可以考虑使用spaCy等自带更精准NER模型的库，这类模型对人名的识别鲁棒性更强。

内容的提问来源于stack exchange，提问作者kishor10d