SpaCy NER模型预测时ent.sent.text返回标签而非原句求助

1. 先检查训练数据格式 #

这是最可能的问题根源——如果训练数据里把句子文本错误替换成了标签值，模型会错误关联ent.sent与标签。正确的SpaCy NER训练数据格式必须是「完整句子+实体标注」的结构：

TRAIN_DATA = [
    ("The user must submit the form by Friday.", {"entities": [(10, 14, "MODAL")]}),
    ("You shall receive a confirmation email shortly.", {"entities": [(4, 9, "MODAL")]}),
    # 其他样本需保持相同格式
]

如果你的训练数据是类似("MODAL", {"entities": [...]})的错误写法，立刻修正为上述正确格式。

2. 确认预测代码的正确性 #

确保你是用模型处理完整文本生成Doc对象，而非只传入实体标签。正确的预测流程示例：

import spacy

# 加载训练好的模型
nlp = spacy.load("./trained_modal_model")

# 从PDF提取的完整文本（用pdfplumber/PyPDF2等工具正确提取）
pdf_text = """The user must submit the form by Friday. You shall receive a confirmation email shortly."""

# 生成包含句子和实体信息的Doc对象
doc = nlp(pdf_text)

# 遍历实体并输出对应句子
for ent in doc.ents:
    print(f"实体: {ent.text}, 标签: {ent.label_}, 所在句子: {ent.sent.text}")

3. 确保模型启用了句子分割组件 #

如果你的模型是从spacy.blank("en")开始训练的，默认没有内置句子分割器，会导致ent.sent无法识别完整句子。加载模型后手动添加sentencizer组件：

nlp = spacy.load("./trained_modal_model")
# 在NER组件前添加句子分割器，保证先分割句子再识别实体
nlp.add_pipe("sentencizer", before="ner")

4. 验证PDF文本提取的完整性 #

用pdfplumber这类工具提取文本时，需确保没有丢失句子结构或截断内容：

import pdfplumber

def extract_pdf_text(pdf_path):
    full_text = ""
    with pdfplumber.open(pdf_path) as pdf:
        for page in pdf.pages:
            # 提取文本时保留换行和句子边界
            full_text += page.extract_text() + "\n"
    return full_text

按以上步骤逐一排查，即可解决ent.sent.text返回标签而非完整句子的问题。

内容的提问来源于stack exchange，提问作者Anandu Aji