如何修改spaCy v3.0.5默认分词器 正确拆分含Unicode撇号的英文缩约形式
spaCy v3.0.5 适配多Unicode撇号的英文缩约分词配置
实际分词表现
默认加载en_core_web_sm模型时,分词器仅能正确拆分使用半角单引号'的英文缩约形式,所有其他变体Unicode撇号构成的相同语义文本,会被识别为单个独立token,完全达不到分词预期:
import spacy nlp = spacy.load('en_core_web_sm') # 涵盖日常常见的9种Unicode撇号变体 + 标准半角单引号 apostrophes = ["'", '\u02B9', '\u02BB', '\u02BC', '\u02BD', '\u02C8', '\u02CA', '\u02CB', '\u0060', '\u00B4'] for apo in apostrophes: text = f"don{apo}t" print([t for t in nlp(text)])
实际运行输出:
[do, n't] [donʹt] [donʻt] [donʼt] [donʽt] [donˈt] [donˊt] [donˋt] [don`t] [don´t]
此前的错误实现
最初的改造思路是扩展默认tokenizer_exceptions规则,给所有带半角单引号的缩约匹配规则,批量适配所有Unicode撇号的变体,但运行时直接抛出E997错误,提示分词器特殊规则不允许修改原始文本。
错误代码如下:
import spacy from spacy.util import compile_prefix_regex, compile_suffix_regex, compile_infix_regex nlp = spacy.load('en_core_web_sm') apostrophes = ['\u02B9', '\u02BB', '\u02BC', '\u02BD', '\u02C8', '\u02CA', '\u02CB', '\u0060', '\u00B4'] default_rules = nlp.Defaults.tokenizer_exceptions extended_rules = default_rules.copy() for key, val in default_rules.items(): if "'" in key: for apo in apostrophes: # 仅替换规则的匹配键,未同步调整规则内部的token属性 extended_rules[key.replace("'", apo)] = val infix_re = compile_infix_regex(nlp.Defaults.infixes) prefix_re = compile_prefix_regex(nlp.Defaults.prefixes) suffix_re = compile_suffix_regex(nlp.Defaults.suffixes) nlp.tokenizer = spacy.tokenizer.Tokenizer( nlp.vocab, rules = extended_rules, prefix_search=prefix_re.search, suffix_search=suffix_re.search, infix_finditer=infix_re.finditer, ) apostrophes = ["'",'\u02B9', '\u02BB', '\u02BC', '\u02BD', '\u02C8', '\u02CA', '\u02CB', '\u0060', '\u00B4'] for apo in apostrophes: text = f"don{apo}t" print([t for t in nlp(text)])
运行报错内容:
ValueError: [E997] Tokenizer special cases are not allowed to modify the text. This would map ':`(' to ':'(' given token attributes '[{65: ":'("}]'.
错误原因:spaCy对分词特殊规则有强制校验:规则定义的切分结果,必须和原始输入文本的字符序列完全匹配,不能出现字符替换。上述代码仅替换了规则的匹配键,没有同步修改规则内部定义的token正字(ORTH)属性——比如原规则don't对应的切分结果是[{"ORTH": "do"}, {"ORTH": "n't"}],如果直接把匹配键换成donʹt,切分结果里还是保留了n't的半角单引号,和原始文本的nʹt不匹配,就会触发E997校验错误。
可落地的正确实现
在扩展规则时,同步替换规则值里所有和半角单引号相关的正字属性,保证切分结果完全匹配原始输入的字符,就能绕过校验实现预期的分词效果:
import spacy from spacy.util import compile_prefix_regex, compile_suffix_regex, compile_infix_regex import copy nlp = spacy.load('en_core_web_sm') target_apostrophes = ['\u02B9', '\u02BB', '\u02BC', '\u02BD', '\u02C8', '\u02CA', '\u02CB', '\u0060', '\u00B4'] default_rules = nlp.Defaults.tokenizer_exceptions extended_rules = copy.deepcopy(default_rules) # 遍历所有默认规则,批量扩展Unicode撇号的变体 for original_key, rule_val in default_rules.items(): if "'" not in original_key: continue for apo in target_apostrophes: # 生成替换撇号后的新规则匹配键 new_key = original_key.replace("'", apo) # 深拷贝规则值,同步替换所有token属性里的半角单引号 new_rule_val = copy.deepcopy(rule_val) for token_attr in new_rule_val: if "ORTH" in token_attr and "'" in token_attr["ORTH"]: token_attr["ORTH"] = token_attr["ORTH"].replace("'", apo) extended_rules[new_key] = new_rule_val # 保持默认的前后缀、infix正则配置 infix_re = compile_infix_regex(nlp.Defaults.infixes) prefix_re = compile_prefix_regex(nlp.Defaults.prefixes) suffix_re = compile_suffix_regex(nlp.Defaults.suffixes) # 应用自定义分词器配置 nlp.tokenizer = spacy.tokenizer.Tokenizer( nlp.vocab, rules = extended_rules, prefix_search=prefix_re.search, suffix_search=suffix_re.search, infix_finditer=infix_re.finditer, ) # 效果验证 test_apostrophes = ["'",'\u02B9', '\u02BB', '\u02BC', '\u02BD', '\u02C8', '\u02CA', '\u02CB', '\u0060', '\u00B4'] for apo in test_apostrophes: text = f"don{apo}t" print([t for t in nlp(text)])
最终运行输出所有用例都会达到预期:
[do, n't] [do, nʹt] [do, nʻt] [do, nʼt] [do, nʽt] [do, nˈt] [do, nˊt] [do, nˋt] [do, n`t] [do, n´t]
如果需要和原半角单引号的token属性完全一致(比如所有变体的缩约后缀都保留
n't的正字),可以在分词前增加一层文本预处理,把所有Unicode撇号统一映射为半角单引号,这种方式不会触发规则校验,但会修改原始文本的字符属性。
内容的提问来源于stack exchange,提问作者gustavz
相关产品推荐
相关产品推荐

