如何使用Spacy的PhraseMatcher处理法语自反代词实现短语匹配

问题根因 #

你当前基于LEMMA的匹配失效的核心原因是：不同变位的自反代词（me/te/m'/t'/nous/vous等）的词元是本身，不会归一化为不定式里的se，所以短语库中的se/s'和邮件里的变位自反代词词元无法匹配。

最优实现方案 #

不需要额外开发自定义组件，调整匹配逻辑即可解决，同时还可以修复你现有代码中重复加载模型、重复读取文件的性能问题：

1. 全局仅加载一次Spacy模型和短语库，不要放到邮件处理函数中重复执行
2. 拆分短语库为普通短语、带自反代词的短语两类，分别用PhraseMatcher和Matcher适配
3. 带自反代词的场景直接匹配代词的Reflex=Yes形态属性，不需要做额外的归一化处理

优化后的完整代码示例 #

import spacy
from spacy.matcher import PhraseMatcher, Matcher

# 全局仅加载一次模型和短语库
nlp = spacy.load("fr_core_news_sm")
with open('test.txt','r',encoding="utf-8") as f:
    phrases_list = [p.strip() for p in f.readlines() if p.strip()]

# 拆分普通短语和自反动词短语，分别生成匹配规则
normal_phrases = []
reflex_patterns = []
for phrase in phrases_list:
    doc = nlp(phrase)
    # 判断是否为带自反代词的短语：首token为se/s'，第二个token为动词
    if len(doc) >=2 and doc[0].lemma_ == "se" and doc[1].pos_ == "VERB":
        # 生成匹配规则：任意自反代词 + 后续内容lemma完全匹配
        pattern = [{"MORPH": {"IS_SUPERSET": ["Reflex=Yes"]}}]
        for token in doc[1:]:
            pattern.append({"LEMMA": token.lemma_})
        reflex_patterns.append(pattern)
    else:
        normal_phrases.append(doc)

# 初始化两类匹配器
phrase_matcher = PhraseMatcher(nlp.vocab, attr="LEMMA")
phrase_matcher.add('normal_phrases', None, *normal_phrases)
matcher = Matcher(nlp.vocab)
matcher.add("reflex_phrases", reflex_patterns)

def treatemail(emailcontent):
    mail = nlp(emailcontent)
    # 合并两类匹配结果
    all_matches = phrase_matcher(mail) + matcher(mail)
    for match_id, start, end in all_matches:
        span = mail[start:end]
        print(span.text)

补充说明 #

• 上述规则已经自动兼容省音场景：Spacy法语模型会自动把s'amuser拆分为s'和amuser两个token，s'的lemma为se且带Reflex=Yes属性，可正常匹配
• 如果你的短语库中存在自反代词不在开头的情况，只需调整规则的位置匹配逻辑即可，核心是所有带Reflex=Yes形态的代词都可以匹配短语里的se
• 原代码中未定义的sentence变量已修正为mail，修复了原代码的运行报错问题

内容的提问来源于stack exchange，提问作者Laz22434