如何使用Hugging Face预训练Transformer模型直接完成NER识别任务？

你当前使用的emilyalsentzer/Bio_ClinicalBERT属于通用临床领域预训练底座模型，仅能输出文本的语义表征张量，没有挂载NER任务的分类头，不可能直接输出实体类别标签。要实现无额外训练直接输出NER结果，你需要使用基于该底座在临床NER数据集上微调完成的专项模型，可直接通过Transformers的Pipeline工具调用，无需自行处理底层张量逻辑。

from transformers import pipeline
import torch

# 加载基于Bio_ClinicalBERT微调好的临床NER pipeline，自动完成分词、推理、标签映射全流程
ner_pipeline = pipeline(
    task="ner",
    model="alvaroalon2/biobert_clinical_ner",
    device=0 if torch.cuda.is_available() else -1,
    aggregation_strategy="simple" # 自动合并拆分的子词，直接输出完整实体
)

text = "The patient was diagnosed with type 2 diabetes mellitus and prescribed metformin 500mg twice daily."
results = ner_pipeline(text)

# 输出格式为实体文本、实体类别、置信度、位置区间
for res in results:
    print(f"实体：{res['word']}，类别：{res['entity_group']}，置信度：{res['score']:.4f}")

• 如果你指定必须用原版emilyalsentzer/Bio_ClinicalBERT，则必须额外添加NER分类头并在对应NER数据集上微调，不符合你无需额外训练的要求
• 上述示例使用的微调模型支持的实体类别包含疾病、药物、检查、症状等常见临床实体，可直接适配绝大多数临床NER场景

内容的提问来源于stack exchange，提问作者Hanif