如何使用NLP从纯文本中抽取姓名、年龄等结构化实体信息

需求对应技术定位 #

你要实现的功能属于NLP领域的命名实体识别（NER） 任务，核心是从非结构化纯文本中提取出预先定义类别的实体片段，你的场景下预设实体类别为「姓名」「年龄」「出生日期」「所在地」四类。业余项目无需从零搭建算法，优先用成熟开源工具快速跑通最小可用版本，再按需优化效果。

最快落地实现方案（零算法基础可直接用） #

Python生态下有大量开箱即用的预训练NER模型，优先推荐spaCy库，对中英文场景都有较好支持：

• 英文场景下，spaCy官方预训练模型已经自带PERSON（对应姓名）、GPE（对应国家/城市等所在地）、DATE（对应出生日期、年龄类时间表述）三类实体标签，简单调用即可拿到结果，给个最简示例代码：

import spacy
# 环境安装命令：pip install spacy && python -m spacy download en_core_web_sm
nlp = spacy.load("en_core_web_sm")
text = "Hello my name is John and I'm 22 years old. I'm living in USA and I like playing video games"
doc = nlp(text)
extract_result = {}
for ent in doc.ents:
    if ent.label_ == "PERSON":
        extract_result["姓名"] = ent.text
    elif ent.label_ == "GPE":
        extract_result["所在地"] = ent.text
    elif ent.label_ == "DATE" and "years old" in ent.text:
        # 从DATE类实体中过滤年龄数据，后续可加正则提取纯数字年龄
        extract_result["年龄"] = ent.text
print(extract_result)
# 输出结果：{'姓名': 'John', '年龄': '22 years old', '所在地': 'USA'}

• 中文场景下，将模型替换为spaCy的zh_core_web_sm中文预训练模型，或改用HanLP库的中文NER预训练模型即可，调用逻辑和上述示例一致。
• 对识别准确率要求较高的类别（比如年龄、出生日期）可以补充正则规则做二次校验，比纯模型识别的准确率更高。

后续进阶学习路径 #

如果现有预训练模型效果达不到要求，可以按以下顺序逐步学习优化：

• 第一步：积累你业务场景下的bad case，优先用规则、词典匹配的方式补全识别逻辑，成本最低见效最快。
• 第二步：标注100-500条你业务场景的文本数据，学习小样本微调的方法，在现有预训练模型基础上做适配，大幅提升场景下的识别准确率。
• 第三步：如果想要深入底层原理，再系统学习Transformer、BERT等基础NLP模型结构，以及NER任务的经典实现逻辑。

内容的提问来源于stack exchange，提问作者Enes Eren