NLTK已下载averaged_perceptron_tagger仍报LookupError求助

问题原因 #

• 资源名称不匹配：nltk.pos_tag默认尝试加载的averaged_perceptron_tagger_eng并非官方标准资源名，实际可下载的资源是averaged_perceptron_tagger（无_eng后缀），名称不匹配导致路径查找失败。
• 环境路径不一致：Jupyter Notebook的运行环境可能与执行下载命令的Python环境不同，或NLTK的默认数据存储路径被修改，已下载的资源不在当前环境的搜索路径内。
• 资源文件损坏：尽管下载工具显示资源已更新，但实际存储的tagger模型文件可能损坏、不完整，无法被NLTK正常加载。

修复方案 #

1. 手动加载正确的tagger资源 #

绕过pos_tag的默认调用逻辑，直接加载已下载的标准资源：

import nltk
from nltk.tag import PerceptronTagger

# 手动加载已下载的感知器标注器
tagger = PerceptronTagger()
tagger.load(nltk.data.find('taggers/averaged_perceptron_tagger/averaged_perceptron_tagger.pickle'))

# 执行词性标注示例
tokenized_text = nltk.word_tokenize("This is a test sentence")
print(tagger.tag(tokenized_text))

2. 统一NLTK数据路径 #

先查看当前环境的NLTK数据搜索路径：

import nltk
print(nltk.data.path)

将资源下载到上述输出的路径之一，或手动添加路径：

# 指定下载路径（替换为实际路径）
nltk.download('averaged_perceptron_tagger', download_dir='/your/nltk/data/path')

# 或在代码开头添加路径
nltk.data.path.append('/your/nltk/data/path')

3. 强制重新下载资源 #

删除可能损坏的旧资源，再强制重新下载：

import shutil
import nltk
from nltk.data import find

# 删除旧的tagger资源
try:
    tagger_dir = find('taggers/averaged_perceptron_tagger')
    shutil.rmtree(tagger_dir)
except LookupError:
    pass

# 强制重新下载
nltk.download('averaged_perceptron_tagger', force=True)

4. 验证Jupyter与Python环境一致性 #

确认Jupyter使用的Python解释器与执行下载命令的环境一致：

import sys
print(sys.executable)

若路径不同，需在Jupyter对应的环境中重新执行下载命令，例如通过conda切换环境后启动Jupyter。

内容的提问来源于stack exchange，提问作者Aryan Rajyaguru