如何在Spacy中使用预设的字符级句子边界自定义分句

你可以通过将预设的字符级边界映射到spaCy的Token级别，手动设置句子起始标记实现需求：spaCy的句子分割逻辑完全由每个Token的is_sent_start属性控制，你只需要把已有的字符级边界对应到对应位置的Token上即可。

实现步骤 #

• 初始化spaCy pipeline时，禁用自带的句子分割相关组件（parser、senter），避免自带规则覆盖你自定义的边界
• 调用分词器处理目标文本得到Doc对象，Doc内置了每个Token的起始、终止字符位置索引，可以直接和你预设的字符边界匹配
• 遍历所有Token，把刚好落在你预设句子起始字符位置的Token的is_sent_start属性设为True，其余设为False即可

示例代码 #

import spacy

# 加载模型时禁用自带的句子分割组件，避免冲突
nlp = spacy.load("en_core_web_sm", disable=["parser", "senter"])

# 你的原始文本和预设字符级边界
text = "The cat chased the mouse. The mouse ran away."
boundaries = [(0, 25), (26, 45)]
# 提取所有句子的起始字符位置存入集合
sent_start_pos = {start for start, _ in boundaries}

# 分词得到Doc对象
doc = nlp.tokenizer(text)

# 为每个Token设置句子起始标记
for token in doc:
    token.is_sent_start = token.idx in sent_start_pos

# 输出验证结果
for sent in doc.sents:
    print(sent.text)

注意事项 #

如果你的预设字符边界不是某个Token的起始位置（比如边界落在单词中间），需要先调整边界坐标，spaCy不支持跨Token的句子拆分，要求每个句子的起始位置必须对应某个Token的第一个字符。

内容的提问来源于stack exchange，提问作者user94154