CLU如何自动划分语句？其划分规则为何无随机性？

• CLU的自动数据集划分不是随机分配的，而是采用固定的确定性规则归类语句，这就是多次训练得分完全一致的原因。
• 具体来说，每条语句会根据自身内容生成一个哈希值，CLU依据这个哈希值将语句分配到训练集或测试集。这种方式能保证同一批语句每次划分的结果完全相同，不会出现随机划分带来的得分波动。
• 它并非简单选取前x%的语句作为训练集，而是通过哈希映射实现均匀且固定的分配，既保证了数据集分布的合理性，又能让实验结果具备可重复性。

内容的提问来源于stack exchange，提问作者Martijn