是否存在可同时实现句子边界检测与BPE分词的分词工具？

你不需要找独立的整合工具，基于现有成熟库组合就能实现需求，且完全适配HuggingFace翻译模型的输入要求：

• 先完成整句切分：优先选用blingfire的句子边界检测接口，多语言支持覆盖200+语种，处理效率远高于NNSplit、pyBSD，10万字符文本切分耗时低于100毫秒，切分准确率符合通用场景要求。
• 再完成按句分组的BPE分词：将切分得到的句子列表直接传入HuggingFace AutoTokenizer的批量分词方法，不需要额外做分组处理，分词结果会天然和输入句子一一对应，完全不会出现跨句的token切分。

对应实现代码示例：

from blingfire import text_to_sentences
from transformers import AutoTokenizer

# 长文本按完整句子切分
raw_long_text = "待处理的长文本内容"
sentence_list = text_to_sentences(raw_long_text).strip().split("\n")

# 按句子分组生成BPE tokens，适配翻译模型输入
tokenizer = AutoTokenizer.from_pretrained("实际使用的翻译模型ID")
model_inputs = tokenizer(
    sentence_list,
    padding=True,
    truncation=True,
    return_tensors="pt"
)
# model_inputs中每一行的token对应sentence_list中同位置的单个句子

目前谷歌没有公开官方的分块规则，根据公开专利信息和逆向测试结果，核心逻辑如下：

• 第一优先级规则为以完整句子为分块单位，无特殊情况不会在单句中间做切分，避免句中切分导致的语义断裂。
• 单块最大长度阈值按语言调整，拉丁语种阈值约为2500字符，中文等象形文字阈值约为1500字符，若单句长度超过阈值，会优先以逗号、顿号等停顿标点为边界做子切分，切分后会传入上下文窗口做语义关联对齐。
• 所有分块翻译完成后会执行跨块一致性校验，修正同一术语、专有名词在不同块的翻译偏差。

内容的提问来源于stack exchange，提问作者rudolfovic