NLTK与Spacy处理法语文本分句结果不一致，NLTK为何失效？

问题场景 #

用户尝试用NLTK拆分法语文本的句子，代码如下：

import nltk.data
tokenizer = nltk.data.load('tokenizers/punkt/french.pickle')
tokens = tokenizer.tokenize("Film culte, classique parmi les classiques.Enfin un conte de Noël bien adapté aux tout-petits sans les prendre pour des attardés.")
for sentence in tokens:
    print(sentence)

执行后仅得到一个完整长句；而使用Spacy的对应代码：

import spacy
nlp = spacy.load("fr_core_news_sm")
doc = nlp("Film culte, classique parmi les classiques.Enfin un conte de Noël bien adapté aux tout-petits sans les prendre pour des attardés.")
for sentence in doc.sents:
    print(sentence.text)

却能正确拆分出两个句子。

核心原因分析 #

• Punkt分词器的模式依赖限制：NLTK的Punkt法语分词器是基于字符模式训练的无监督模型，它对句末标点+空格+大写字母的标准格式依赖度很高。示例文本中classiques和Enfin之间没有空格，这种不符合规范的格式超出了模型训练时学习到的分句触发条件，因此无法识别句子边界。
• Spacy的分句逻辑更全面：Spacy的法语模型结合了词性标注、句法分析等多维度语义信息，不仅看表面字符格式，还会通过词汇的语境角色（比如Enfin作为句首副词的属性）判断句子边界，对不规范格式的容错性更强。
• 训练数据差异：Punkt的法语训练数据可能更多覆盖标准书写格式的文本，对无空格连接的句末标点+大写字母场景缺少足够样本，而Spacy的模型基于更丰富的多模态训练数据，能处理这类边缘情况。

临时解决办法 #

如果要让NLTK正确处理这类文本，可以先预处理文本，修复格式问题：

import nltk.data
import re

text = "Film culte, classique parmi les classiques.Enfin un conte de Noël bien adapté aux tout-petits sans les prendre pour des attardés."
# 在句号后紧跟大写字母的位置插入空格
processed_text = re.sub(r'(\.)([A-ZÀ-Ü])', r'\1 \2', text)

tokenizer = nltk.data.load('tokenizers/punkt/french.pickle')
tokens = tokenizer.tokenize(processed_text)
for sentence in tokens:
    print(sentence)

内容的提问来源于stack exchange，提问作者LeMoussel