如何在SpaCy中添加额外货币字符并解决特殊货币实体识别问题

首先，最便捷且高效的方案是用SpaCy的EntityRuler组件——这是规则式实体匹配的利器，不用重新训练模型就能快速让NER识别你的特殊货币符号。

具体步骤： #

1. 加载预训练模型后，初始化EntityRuler，定义包含特殊符号的匹配规则：

   import spacy
   from spacy.pipeline import EntityRuler
   
   # 加载你常用的预训练模型，比如en_core_web_sm
   nlp = spacy.load("en_core_web_sm")
   # 初始化EntityRuler，设置overwrite_ents=True确保规则匹配的实体覆盖原有NER结果
   ruler = EntityRuler(nlp, overwrite_ents=True)
   
   # 定义匹配规则，把€和其他同类货币符号都加进去
   patterns = [
       # 匹配「符号 + 金额」的模式（支持带逗号的金额，比如5,000）
       {
           "label": "MONEY",
           "pattern": [
               {"TEXT": {"IN": ["€", "€", "$", "£", "CAD"]}},  # 这里填入所有需要识别的货币符号/代码
               {"IS_DIGIT": True, "OP": "+"},
               {"IS_PUNCT": True, "OP": "?"}  # 可选匹配小数点或逗号后的部分
           ]
       },
       # 补充匹配「金额 + 符号」的反向模式
       {
           "label": "MONEY",
           "pattern": [
               {"IS_DIGIT": True, "OP": "+"},
               {"IS_PUNCT": True, "OP": "?"},
               {"TEXT": {"IN": ["€", "€", "$", "£", "CAD"]}}
           ]
       }
   ]
   
   # 添加规则到EntityRuler
   ruler.add_patterns(patterns)
   # 把EntityRuler放在NER组件之前，确保规则优先匹配
   nlp.add_pipe("entity_ruler", before="ner")
   

2. 特殊情况处理：如果你的特殊符号（比如€）被Tokenizer错误拆分（比如和数字连在一起成了一个token），需要先调整Tokenizer的前缀/后缀规则：

   # 把€添加为Tokenizer的前缀，确保它被拆分为单独的token
   nlp.tokenizer.prefixes += ("€",)
   # 如果符号会出现在金额后面，也可以添加为后缀
   nlp.tokenizer.suffixes += ("€",)
   

这个问题要分场景判断：

场景1：只是少数特定货币代码（如CAD）未被识别 #

优先选择把CAD添加到EntityRuler的规则中，原因很实在：

• 成本极低：不用准备标注数据、不用微调模型，几分钟就能搞定
• 可控性强：明确匹配「CAD + 金额」的模式，不会出现莫名其妙的误识别
• 见效快：配置完立刻就能识别这类表述

场景2：存在大量未覆盖的货币代码，或需要模型自动识别新的货币表述 #

考虑微调NER模型，但要注意前提：

• 你需要准备标注数据：收集包含各类货币表述的文本，并手动标注对应的MONEY实体
• 要评估微调效果：避免微调后破坏原有NER对其他实体的识别能力
• 计算资源需求：微调需要一定的GPU资源（如果数据集大的话）

总结 #

绝大多数情况下，先用EntityRuler解决问题是最优解——毕竟规则方法简单直接，只有当规则无法覆盖复杂的、泛化的货币表述场景时，再考虑微调模型。

内容的提问来源于stack exchange，提问作者Abhishek Ram