如何结合上下文用Python识别句子中的名词？NLTK误判问题求解

当使用NLTK对句子I bought a vintage car.做词性标注时，会错误地将vintage标记为名词（NN），但结合上下文它实际是修饰car的形容词。下面提供几种可行的解决方法：

方法1：用NLTK组块分析提取核心名词 #

通过自定义组块语法，结合词性标注结果提取符合结构的名词短语，再从中筛选核心名词：

import nltk
# 下载所需语料库
nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')

text = 'I bought a vintage car.'
tokens = nltk.word_tokenize(text)
tagged = nltk.pos_tag(tokens)

# 定义组块语法：匹配限定词+形容词+名词的名词短语结构
grammar = r"""
NP: {<DT>?<JJ>*<NN>}
"""
cp = nltk.RegexpParser(grammar)
parsed_tree = cp.parse(tagged)

# 从组块中提取核心名词
core_nouns = []
for subtree in parsed_tree.subtrees(filter=lambda t: t.label() == 'NP'):
    core_nouns.extend([word for word, tag in subtree.leaves() if tag == 'NN'])

print(core_nouns)  # 输出: ['car']

方法2：基于TextBlob的名词短语提取后筛选 #

利用TextBlob已能正确识别名词短语的特性，对短语再次做词性标注，提取其中的核心名词：

from textblob import TextBlob

txt = "I bought a vintage car."
blob = TextBlob(txt)
noun_phrases = blob.noun_phrases

core_nouns = []
for phrase in noun_phrases:
    phrase_tags = TextBlob(phrase).tags
    core_nouns.extend([word for word, tag in phrase_tags if tag.startswith('NN')])

print(core_nouns)  # 输出: ['car']

方法3：使用spaCy提升上下文感知能力 #

spaCy的预训练模型对上下文的理解更精准，能更准确地标注词性：

import spacy

# 加载英文小模型（可根据需求替换为en_core_web_md等）
nlp = spacy.load("en_core_web_sm")
doc = nlp("I bought a vintage car.")

# 提取所有名词
core_nouns = [token.text for token in doc if token.pos_ == "NOUN"]
print(core_nouns)  # 输出: ['car']

# 查看完整词性标注结果，确认vintage被标记为形容词
print([(token.text, token.pos_) for token in doc])
# 输出: [('I', 'PRON'), ('bought', 'VERB'), ('a', 'DET'), ('vintage', 'ADJ'), ('car', 'NOUN'), ('.', 'PUNCT')]

说明 #

NLTK默认的词性标注器基于统计模型，在部分上下文场景下容易出现误判。通过组块分析结合语法规则，或使用对上下文感知更强的工具（如TextBlob、spaCy），可以更准确地识别句子中的核心名词。

内容的提问来源于stack exchange，提问作者Shayan