如何在NLTK/StanfordNLP/CoreNLP中扩展自定义命名实体类别？

NLTK自带的预训练NER模型确实只支持有限的类别（PER、ORG、GPE这些），要添加PSY（心理学实体）、CHE（化学实体）这类自定义类别，最可靠的方式是训练一个自定义的NER模型，用NLTK的CRFClassifier来实现。下面分三部分给你讲清楚：

一、数据集格式要求 #

必须采用IOB标注格式（这是NER任务的标准标注格式），具体规则：

• 每行对应一个词和它的标签，用空格或制表符分隔
• 标签分为三类：
  • B-XXX：表示某个实体（XXX是你的自定义类别，比如B-PSY）的开头词
  • I-XXX：表示该实体的后续词
  • O：表示非实体词
• 每个句子之间用空行分隔

举个标注示例：

Depression	B-PSY
is	O
a	O
common	O
mood	I-PSY
disorder	I-PSY
Serotonin	B-CHE
is	O
a	O
neurotransmitter	O

你需要分别准备训练集（比如train_ner.txt）和测试集（比如test_ner.txt），建议两类数据的分布尽量一致，且每个自定义类别至少要有几百条标注样本，保证模型能学到特征。

二、数据集放置路径 #

NLTK没有强制要求固定路径，两种选择都可以：

1. 项目本地目录：直接把标注好的文件放在你的Python项目根目录下，代码里直接写相对路径读取就行，这种方式最灵活，适合自定义项目。
2. NLTK数据目录：如果你想和NLTK自带语料放在一起，可以先通过nltk.data.find('corpora/')找到NLTK的语料存储路径，然后新建一个文件夹（比如custom_ner），把标注文件放进去，读取时用nltk.data.find('corpora/custom_ner/train_ner.txt')获取绝对路径。

三、具体实现步骤 #

1. 加载并转换标注数据 #

首先要把IOB格式的文本转换成NLTK CRF模型需要的格式（每个句子是[(词, 标签), ...]的列表）：

def load_iob_data(file_path):
    sentences = []
    current_sent = []
    with open(file_path, 'r', encoding='utf-8') as f:
        for line in f:
            line = line.strip()
            if not line:
                if current_sent:
                    sentences.append(current_sent)
                    current_sent = []
            else:
                # 这里假设是制表符分隔，如果你用空格分隔就改成split()
                word, tag = line.split('\t')
                current_sent.append((word, tag))
        # 处理最后一个句子
        if current_sent:
            sentences.append(current_sent)
    return sentences

# 加载训练和测试数据
train_sents = load_iob_data('train_ner.txt')
test_sents = load_iob_data('test_ner.txt')

2. 定义特征提取函数 #

特征是CRF模型的核心，你可以根据需求调整，下面是一个基础版的特征函数：

def word_features(sent, idx):
    word = sent[idx][0]
    features = {
        'bias': 1.0,
        'word': word.lower(),
        'word_suffix3': word[-3:],
        'word_suffix2': word[-2:],
        'is_title': word.istitle(),
        'is_upper': word.isupper(),
        'is_digit': word.isdigit()
    }
    # 加入前一个词的特征
    if idx > 0:
        prev_word = sent[idx-1][0]
        features.update({
            'prev_word': prev_word.lower(),
            'prev_is_title': prev_word.istitle()
        })
    else:
        features['is_start'] = True
    # 加入后一个词的特征
    if idx < len(sent)-1:
        next_word = sent[idx+1][0]
        features.update({
            'next_word': next_word.lower(),
            'next_is_title': next_word.istitle()
        })
    else:
        features['is_end'] = True
    return features

def sent_features(sent):
    return [word_features(sent, i) for i in range(len(sent))]

def sent_labels(sent):
    return [tag for word, tag in sent]

# 转换为模型输入格式
X_train = [sent_features(s) for s in train_sents]
y_train = [sent_labels(s) for s in train_sents]
X_test = [sent_features(s) for s in test_sents]
y_test = [sent_labels(s) for s in test_sents]

3. 训练并使用自定义模型 #

from nltk.tag import CRFClassifier

# 训练CRF模型
crf_model = CRFClassifier()
crf_model.train(X_train, y_train)

# 测试模型准确率
print(f"模型测试准确率: {crf_model.accuracy(X_test, y_test):.2f}")

# 用模型识别自定义实体
test_sent = ["Cognitive", "behavioral", "therapy", "is", "used", "to", "treat", "anxiety", "disorder", "with", "fluoxetine"]
print(crf_model.tag(test_sent))

额外建议 #

• 如果标注数据量少，可以考虑用半监督学习或者迁移学习，比如先训练一个基础模型，再用少量标注数据微调。
• 要是不想从头训练，也可以先用NLTK默认NER识别通用实体，再用正则表达式或预训练的词向量匹配来识别PSY、CHE类实体，但这种混合方法的一致性不如自定义模型。

内容的提问来源于stack exchange，提问作者jackie2jet