如何基于自定义归一化属性使用Spacy PhraseMatcher匹配短语？

你之前的问题出在自定义属性的作用对象不对——你给Token加的get_norm是基于整个Doc的文本，但PhraseMatcher是逐个Token匹配的，需要每个Token都有自己的归一化属性才行。下面给你分步讲正确的实现方式：

1. 定义单个文本的归一化函数 #

首先要写一个能处理单个字符串（每个Token的文本）的归一化方法，比如去重音、转小写：

import unicodedata

def deaccent_and_lower(text):
    # 去除重音并转小写
    normalized = unicodedata.normalize('NFKD', text)
    ascii_text = normalized.encode('ascii', 'ignore').decode('utf-8')
    return ascii_text.lower()

2. 给Token添加自定义归一化属性 #

给每个Token绑定一个自定义属性，用getter函数自动返回该Token文本的归一化结果：

from spacy.tokens import Token

# 添加名为custom_norm的Token扩展，getter会自动处理每个Token的文本
Token.set_extension('custom_norm', getter=lambda token: deaccent_and_lower(token.text))

3. 配置EntityRuler使用自定义属性 #

创建EntityRuler时，指定phrase_matcher_attr为我们刚定义的custom_norm，同时确保你的匹配模式是归一化后的文本（比如这里用小写的java）：

import spacy

nlp = spacy.load("en_core_web_sm")
patterns = [{"label": "TECH", "pattern": "java"}]

# 初始化EntityRuler，指定用custom_norm属性做匹配
ruler = nlp.add_pipe("entity_ruler", config={"phrase_matcher_attr": "custom_norm"})
ruler.add_patterns(patterns)

4. 测试效果 #

现在不管输入是原始大小写、带重音的版本，都会被正确匹配，同时保留原始文本不影响其他组件：

doc = nlp("JAVÁ is more popular than JAVA or java")
for ent in doc.ents:
    print(f"实体: {ent.text}, 标签: {ent.label_}, 归一化匹配值: {ent[0]._.custom_norm}")

输出会是：

实体: JAVÁ, 标签: TECH, 归一化匹配值: java
实体: JAVA, 标签: TECH, 归一化匹配值: java
实体: java, 标签: TECH, 归一化匹配值: java

这样既实现了基于归一化文本的匹配，又完全保留了原始文本，不影响spaCy其他组件（比如词性标注、依存分析）的正常工作。

内容的提问来源于stack exchange，提问作者jesusfbes