使用NLTK执行NER时遭遇IndexError: string index out of range错误求助

这个错误主要由两个原因导致：未下载NLTK依赖的模型与语料库，以及原代码跳过了ne_chunk必需的词性标注步骤。以下是完整解决步骤：

1. 下载NLTK必要资源 #

NLTK的分词、词性标注、实体识别功能都依赖预训练模型，默认安装后不会自动下载。在Jupyter中运行以下代码完成资源下载（第一次运行即可，后续可注释）：

import nltk
nltk.download(['punkt', 'averaged_perceptron_tagger', 'maxent_ne_chunker', 'words'])

各资源作用：

• punkt：支持文本分词（word_tokenize依赖）
• averaged_perceptron_tagger：实现词性标注（ne_chunk必须基于带词性标注的文本）
• maxent_ne_chunker：命名实体识别的核心模型
• words：实体识别所需的词汇库

2. 修正原代码 #

ne_chunk函数接收的参数必须是带词性标注的二元组列表（格式为[(word1, tag1), (word2, tag2)...]），原代码直接传入分词后的纯字符串列表，会导致内部处理时出现索引越界错误。修正后的完整代码如下：

import nltk

# 首次运行请取消注释下载资源
# nltk.download(['punkt', 'averaged_perceptron_tagger', 'maxent_ne_chunker', 'words'])

# 输入文本
text = "Barack Obama was born in Hawaii. He was the 44th President of the United States."

# 分词
tokens = nltk.word_tokenize(text)

# 新增词性标注步骤（关键）
tagged_tokens = nltk.pos_tag(tokens)

# 执行命名实体识别
entities = nltk.ne_chunk(tagged_tokens)

# 按预期格式输出实体
for subtree in entities:
    if hasattr(subtree, 'label'):
        entity_content = ' '.join([f'{word}/{tag}' for word, tag in subtree])
        print(f"({subtree.label()} {entity_content})")

运行修正后的代码，即可得到预期输出：

(PERSON Barack/NNP Obama/NNP)
(GPE Hawaii/NNP)
(ORGANIZATION United/NNP States/NNPS)

内容的提问来源于stack exchange，提问作者Brindha Ganesan