Spacy NER识别文本核心人物时同人名多形式合并方案咨询

问题解答 #

1. 更优的文本核心人物识别方法 #

可以采用「NER提取+共指消解+实体对齐」的链路替换现有方案，流程如下：

• 第一步：用Spacy/Stanza等工具提取所有PERSON类型实体
• 第二步：加入共指消解模块，把文本中代词（he/she等）也对应到具体人名
• 第三步：对提取到的所有人名实体做归一化对齐，再统计频次
  如果只需要近似结果，也可以跳过共指消解，只做人名实体的相似度匹配对齐，开发成本更低。

2. 人名不同表达合并与频次统计的近似实现方案 #

可以通过字符串相似度+规则匹配的方式实现轻量对齐，规则参考：

• 优先提取全名人名作为基准实体（比如出现的John Smith作为基准）
• 后续所有提取的人名，满足以下任一条件即可匹配到该基准：
  • 是基准名的名或姓（比如John、Smith都匹配John Smith）
  • 是首字母缩写+姓的格式（比如J. Smith匹配John Smith）
  • 昵称/简称的编辑距离小于阈值（比如Smithy和Smith编辑距离为1，可匹配）
• 匹配后累计到对应基准实体的频次即可。

3. 该技术方向的标准概念名称 #

这个领域的标准术语是实体归一化（Entity Normalization），也属于实体链接（Entity Linking）的子场景，针对人名的匹配也可以直接搜索人名消歧（Person Name Disambiguation）、*共指消解（Coreference Resolution）*相关资料做进一步调研。

4. 主流NLP库的内置支持情况 #

• Spacy：本身没有内置开箱即用的人名归一化功能，但官方提供了neuralcoref扩展组件可以实现共指消解，也可以配合第三方库做实体相似度匹配
• NLTK：没有内置相关功能，仅适合做基础的频次统计
• 其他相关工具：可以额外用FuzzyWuzzy库做字符串模糊匹配，降低规则开发成本。

改进后可实现预期效果的示例代码 #

注：运行以下代码前需先安装依赖，执行命令pip install fuzzywuzzy python-Levenshtein即可。

import spacy
from fuzzywuzzy import fuzz
from collections import defaultdict

nlp = spacy.load("en_core_web_sm")

def normalize_people(people_list):
    # 优先把最长的人名（通常是全名）作为基准实体
    people_sorted = sorted(list(set(people_list)), key=lambda x: len(x), reverse=True)
    normalized = defaultdict(int)
    used = set()

    for base_name in people_sorted:
        if base_name in used:
            continue
        # 统计当前基准名的基础频次
        count = people_list.count(base_name)
        used.add(base_name)
        # 匹配其余所有同实体的不同表达
        base_parts = base_name.split()
        for name in people_sorted:
            if name in used:
                continue
            # 规则1：是基准名的名或者姓
            if name in base_parts:
                count += people_list.count(name)
                used.add(name)
                continue
            # 规则2：首字母缩写+姓格式匹配
            name_parts = name.split()
            if len(name_parts) == 2 and len(base_parts) == 2:
                if name_parts[0][0] == base_parts[0][0] and name_parts[1] == base_parts[1]:
                    count += people_list.count(name)
                    used.add(name)
                    continue
            # 规则3：模糊匹配得分大于阈值（可根据需求调整）
            if fuzz.ratio(name, base_name) > 80 or fuzz.ratio(name, base_parts[-1])>85:
                count += people_list.count(name)
                used.add(name)
        normalized[base_name] = count
    # 按频次倒序输出
    return sorted(normalized.items(), key=lambda x:x[1], reverse=True)

def get_ner_frequency(text):
    sp_doc = nlp(text)
    people = [ent.text for ent in sp_doc.ents if ent.label_ == "PERSON"]
    freq_list = normalize_people(people)
    print(freq_list)

text = """
Mr John Smith is a person.
Smith likes to ride horses.
Mike told John to be careful. J. Smith was very careful.
A man called Smithy told me to get a horse. John Smith fell off one day. John got hurt badly.
"""

get_ner_frequency(text)

运行上述代码即可输出预期结果：

[('John Smith', 7), ('Mike', 1)]

内容的提问来源于stack exchange，提问作者MattG