N元语法模型中<BOS>标签的理想数量及三元组生成判定

1. N元语法模型中<BOS>标签的理想数量是多少？ #

在N元语法模型里，<BOS>（句首标签）的理想数量为N-1个。原因是N元语法需要从句子起始位置就构建出包含N个元素的窗口，比如三元语法（Trigram）需要2个<BOS>，才能生成第一个完整的N元组。

2. 句子"There is a monkey"添加标签后的三元组判断 #

先将句子处理为带标签的序列：<BOS> <BOS> There is a monkey <EOS>，基于此生成三元组：

① 第一个三元组的正确形式 #

正确选项是a. <BOS>, <BOS>, There。三元语法需要2个<BOS>填充开头的窗口，才能形成第一个合法的三元组。

② 最后一个三元组的正确形式 #

正确选项是b. a, monkey, <EOS>。滑动窗口到序列末尾时，包含<EOS>的最后一个完整三元组就是a, monkey, <EOS>，无需额外添加<EOS>。

内容的提问来源于stack exchange，提问作者Anant Kumar