Spacy NER使用Matcher模式识别人名时误识别无关词汇问题排查求助
问题排查与修复方案
现有规则的核心问题
- 结构误用:你当前写的
person_pattern是Spacy EntityRuler组件的规则格式,如果直接传给Matcher组件使用,会完全无法按照预期逻辑校验token,导致规则失效、乱匹配无关词汇。 - 规则逻辑错误:就算是给EntityRuler用,你写的pattern是
[{'POS':'PROPN'}, {"ENT_TYPE": "PERSON"}],代表匹配连续两个token:第一个token的词性为专有名词,第二个token已经被识别为PERSON实体,完全不符合你“识别人名”的需求,也会导致匹配结果错乱。
你遇到的My、Name被错误标记为PERSON,本质是规则格式错误后,匹配逻辑完全失效,给无关词汇错误打上了PERSON标签,和Spacy内置的NER模型无关。
修复方案
方案1:直接使用内置NER识别人名
如果不需要额外自定义规则,直接调用预训练模型的NER能力即可,无需配置Matcher/EntityRuler:
import spacy # 加载带NER能力的预训练模型,sm/md/lg版本都可以 nlp = spacy.load("en_core_web_md") text = "My Name as in Google Record is Hannah, but i would like to modify Name as in AADHAR Hanna. My CDS ID is JANAN34" doc = nlp(text) # 筛选所有人名实体 person_list = [ent.text for ent in doc.ents if ent.label_ == "PERSON"] # 输出结果:['Hannah', 'Hanna'] print(person_list)
方案2:自定义规则补充人名识别
如果你确实需要用规则补充NER的识别结果,正确配置EntityRuler的格式如下:
import spacy from spacy.pipeline import EntityRuler nlp = spacy.load("en_core_web_md") # 把实体规则组件加到NER之前,优先级更高 ruler = nlp.add_pipe("entity_ruler", before="ner") # 规则定义:匹配单个既是专有名词、又被识别为人名的token person_pattern = [ {"label": "PERSON", "pattern": [{"POS": "PROPN", "ENT_TYPE": "PERSON"}], "comment": "过滤非专有名词的误判人名"} ] ruler.add_patterns(person_pattern) text = "My Name as in Google Record is Hannah, but i would like to modify Name as in AADHAR Hanna. My CDS ID is JANAN34" doc = nlp(text) person_list = [ent.text for ent in doc.ents if ent.label_ == "PERSON"] print(person_list)
内容的提问来源于stack exchange,提问作者Bandham Manikanta
相关产品推荐
相关产品推荐

