FastText中的哈希机制是否会导致不同n-gram共享同一嵌入？

• 针对第一个问题：是的，无论训练语料中提取出多少种不同的n-gram，模型只会维护K个嵌入向量。这种哈希映射的核心目标就是通过固定嵌入表的大小K，严格限制模型的内存占用，避免因语料中n-gram数量激增（比如长n-gram、海量语料场景）导致内存需求失控。

• 针对第二个问题：没错，当两个不同的n-gram经过哈希函数计算后得到相同的整数（即哈希碰撞），它们会共享同一个嵌入向量。FastText的原始设计主动接受这种碰撞带来的微小信息损失，以此换取内存效率的大幅提升；论文中的实验也验证了这种取舍在实际任务中是可行的，不会对模型性能造成显著负面影响。

内容的提问来源于stack exchange，提问作者Fijoy Vadakkumpadan