You need to enable JavaScript to run this app. 如何修改spaCy v3.0.5默认分词器 正确拆分含Unicode撇号的英文缩约形式
优惠活动
大模型
产品
解决方案
定价
更多

如何修改spaCy v3.0.5默认分词器 正确拆分含Unicode撇号的英文缩约形式

spaCy v3.0.5 适配多Unicode撇号的英文缩约分词配置

实际分词表现

默认加载en_core_web_sm模型时,分词器仅能正确拆分使用半角单引号'的英文缩约形式,所有其他变体Unicode撇号构成的相同语义文本,会被识别为单个独立token,完全达不到分词预期:

import spacy

nlp = spacy.load('en_core_web_sm')
# 涵盖日常常见的9种Unicode撇号变体 + 标准半角单引号
apostrophes = ["'", '\u02B9', '\u02BB', '\u02BC', '\u02BD', '\u02C8', '\u02CA', '\u02CB', '\u0060', '\u00B4']
for apo in apostrophes:
    text = f"don{apo}t"
    print([t for t in nlp(text)])

实际运行输出:

[do, n't]
[donʹt]
[donʻt]
[donʼt]
[donʽt]
[donˈt]
[donˊt]
[donˋt]
[don`t]
[don´t]

此前的错误实现

最初的改造思路是扩展默认tokenizer_exceptions规则,给所有带半角单引号的缩约匹配规则,批量适配所有Unicode撇号的变体,但运行时直接抛出E997错误,提示分词器特殊规则不允许修改原始文本。
错误代码如下:

import spacy 
from spacy.util import compile_prefix_regex, compile_suffix_regex, compile_infix_regex

nlp = spacy.load('en_core_web_sm')

apostrophes = ['\u02B9', '\u02BB', '\u02BC', '\u02BD', '\u02C8', '\u02CA', '\u02CB', '\u0060', '\u00B4']
default_rules = nlp.Defaults.tokenizer_exceptions
extended_rules = default_rules.copy()
for key, val in default_rules.items():
    if "'" in key:
        for apo in apostrophes:
            # 仅替换规则的匹配键,未同步调整规则内部的token属性
            extended_rules[key.replace("'", apo)] = val

infix_re = compile_infix_regex(nlp.Defaults.infixes)
prefix_re = compile_prefix_regex(nlp.Defaults.prefixes)
suffix_re = compile_suffix_regex(nlp.Defaults.suffixes)

nlp.tokenizer =  spacy.tokenizer.Tokenizer(
        nlp.vocab,
        rules = extended_rules,
        prefix_search=prefix_re.search,
        suffix_search=suffix_re.search,
        infix_finditer=infix_re.finditer,
    )
            
apostrophes = ["'",'\u02B9', '\u02BB', '\u02BC', '\u02BD', '\u02C8', '\u02CA', '\u02CB', '\u0060', '\u00B4']
for apo in apostrophes:
    text = f"don{apo}t"
    print([t for t in nlp(text)])

运行报错内容:

ValueError: [E997] Tokenizer special cases are not allowed to modify the text. This would map ':`(' to ':'(' given token attributes '[{65: ":'("}]'.

错误原因:spaCy对分词特殊规则有强制校验:规则定义的切分结果,必须和原始输入文本的字符序列完全匹配,不能出现字符替换。上述代码仅替换了规则的匹配键,没有同步修改规则内部定义的token正字(ORTH)属性——比如原规则don't对应的切分结果是[{"ORTH": "do"}, {"ORTH": "n't"}],如果直接把匹配键换成donʹt,切分结果里还是保留了n't的半角单引号,和原始文本的nʹt不匹配,就会触发E997校验错误。

可落地的正确实现

在扩展规则时,同步替换规则值里所有和半角单引号相关的正字属性,保证切分结果完全匹配原始输入的字符,就能绕过校验实现预期的分词效果:

import spacy 
from spacy.util import compile_prefix_regex, compile_suffix_regex, compile_infix_regex
import copy

nlp = spacy.load('en_core_web_sm')
target_apostrophes = ['\u02B9', '\u02BB', '\u02BC', '\u02BD', '\u02C8', '\u02CA', '\u02CB', '\u0060', '\u00B4']
default_rules = nlp.Defaults.tokenizer_exceptions
extended_rules = copy.deepcopy(default_rules)

# 遍历所有默认规则,批量扩展Unicode撇号的变体
for original_key, rule_val in default_rules.items():
    if "'" not in original_key:
        continue
    for apo in target_apostrophes:
        # 生成替换撇号后的新规则匹配键
        new_key = original_key.replace("'", apo)
        # 深拷贝规则值,同步替换所有token属性里的半角单引号
        new_rule_val = copy.deepcopy(rule_val)
        for token_attr in new_rule_val:
            if "ORTH" in token_attr and "'" in token_attr["ORTH"]:
                token_attr["ORTH"] = token_attr["ORTH"].replace("'", apo)
        extended_rules[new_key] = new_rule_val

# 保持默认的前后缀、infix正则配置
infix_re = compile_infix_regex(nlp.Defaults.infixes)
prefix_re = compile_prefix_regex(nlp.Defaults.prefixes)
suffix_re = compile_suffix_regex(nlp.Defaults.suffixes)

# 应用自定义分词器配置
nlp.tokenizer =  spacy.tokenizer.Tokenizer(
        nlp.vocab,
        rules = extended_rules,
        prefix_search=prefix_re.search,
        suffix_search=suffix_re.search,
        infix_finditer=infix_re.finditer,
    )

# 效果验证
test_apostrophes = ["'",'\u02B9', '\u02BB', '\u02BC', '\u02BD', '\u02C8', '\u02CA', '\u02CB', '\u0060', '\u00B4']
for apo in test_apostrophes:
    text = f"don{apo}t"
    print([t for t in nlp(text)])

最终运行输出所有用例都会达到预期:

[do, n't]
[do, nʹt]
[do, nʻt]
[do, nʼt]
[do, nʽt]
[do, nˈt]
[do, nˊt]
[do, nˋt]
[do, n`t]
[do, n´t]

如果需要和原半角单引号的token属性完全一致(比如所有变体的缩约后缀都保留n't的正字),可以在分词前增加一层文本预处理,把所有Unicode撇号统一映射为半角单引号,这种方式不会触发规则校验,但会修改原始文本的字符属性。

内容的提问来源于stack exchange,提问作者gustavz

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.24 21:36:02