求助：spaCy自定义组件添加后始终未被调用

问题核心 #

你的组件未生效有两个关键原因：

1. 组件执行时机错误：你把自定义组件加在了parser之后，但spaCy的parser会自行预测并设置分句边界，之后修改is_sent_start不会触发分句结果的更新（doc.sents是缓存的）。
2. 输出缓冲导致print无显示：部分环境下print输出会被缓冲，看不到执行痕迹。

修复步骤 #

1. 调整组件位置到parser之前 #

将自定义组件放在parser之前，让你的分句逻辑先于内置parser生效，避免被parser覆盖设置：

@Language.component("custom_sentence_boundaries")
def custom_sentence_boundaries(doc):
    print("自定义组件已执行！", flush=True)  # 加flush确保输出即时显示
    # 先重置所有句首标记，避免内置逻辑干扰
    for token in doc:
        token.is_sent_start = False
    # 手动设置第一个token为句首
    if len(doc) > 0:
        doc[0].is_sent_start = True
    # 自定义分句逻辑：换行后的token设为句首
    for token in doc[:-1]:
        if token.text == "\n":
            doc[token.i + 1].is_sent_start = True
    return doc

nlp = spacy.load("de_core_web_sm")
# 将组件添加到parser之前
nlp.add_pipe("custom_sentence_boundaries", before="parser")
# 验证管道顺序
print(nlp.pipe_names)

text = "测试第一行\n测试第二行\n测试第三行"
doc = nlp(text)
sentences = [sent.text.strip() for sent in doc.sents]
print(sentences)

2. 替代方案：禁用内置分句，用自定义逻辑完全控制 #

如果你不需要parser的分句功能，可以直接禁用parser的分句，改用自定义逻辑：

@Language.component("custom_sentence_boundaries")
def custom_sentence_boundaries(doc):
    print("自定义组件已执行！", flush=True)
    # 完全自定义分句边界
    for token in doc:
        token.is_sent_start = False
    doc[0].is_sent_start = True
    for token in doc[:-1]:
        if token.text == "\n":
            doc[token.i + 1].is_sent_start = True
    return doc

nlp = spacy.load("de_core_web_sm", disable=["parser"])
# 添加自定义组件和sentencizer（如果需要基础分句）
nlp.add_pipe("sentencizer")
nlp.add_pipe("custom_sentence_boundaries", after="sentencizer")

text = "测试第一行\n测试第二行\n测试第三行"
doc = nlp(text)
sentences = [sent.text.strip() for sent in doc.sents]
print(sentences)

关键说明 #

• flush=True：强制print即时输出，避免因缓冲看不到执行痕迹。
• 重置is_sent_start：确保内置的分句逻辑不会干扰你的自定义设置。
• 组件位置：放在parser之前是核心，因为parser会根据is_sent_start的标记生成最终分句结果。

内容的提问来源于stack exchange，提问作者user21648733