如何使用NLP技术检测无标点长文本的句子边界

核心逻辑是先完成标点恢复任务，再执行常规分句操作，没有前置标点的前提下无法直接调用普通分句工具实现需求，可选择的落地路径如下：

• 预训练模型方案（准确率最高，推荐优先使用）
  现有成熟的预训练模型可以直接处理无标点文本的标点恢复任务，通用场景下无需自行训练即可拿到可用结果：
  • 中文场景可使用基于BERT的标点恢复开源实现，输入无标点的文本序列，模型会直接输出每个字符后需要添加的标点类型（逗号、句号、问号、无标点四类为主），输出为句号、问号、感叹号的位置即为句子边界。如果是垂直领域场景，只需要补充几百到几千条对应领域的标注文本做微调即可适配。
  • 英文场景可直接调用开源的标点恢复预训练权重，比如bert-base-uncased-punctuation，输出带标点的文本后，就可以正常调用CoreNLP完成分句操作。
• 轻量规则+统计方案（算力有限的场景可选）
  不想引入大模型的前提下，可以用两种特征结合判断句子边界：
  • 文本特征：用公开标注语料训练N-gram语言模型，统计单词/字符组合的句子结束概率，结合词性标注结果做过滤，比如介词、连词后面基本不会出现句子边界，降低误判率。
  • 音频特征：如果可以拿到ASR输出的单词时间戳，两个单词之间的停顿超过阈值（可根据场景设为150-300ms）即可判定为高概率句子边界，和文本特征结合校验的准确率基本能满足普通需求。
• 兼容CoreNLP的过渡方案
  若必须使用CoreNLP做分句，可以先对无标点文本做粗粒度语义切分，给每个语义片段末尾默认添加伪句号，再喂入CoreNLP完成分句，后续再对分句结果做人工或规则校验即可，该方案准确率低于专门的标点恢复模型，仅适合要求不高的测试场景。

内容的提问来源于stack exchange，提问作者n1try