为何Gensim实现的FastText模型体积小于Facebook原生FastText模型

现有观测表明，Gensim实现的FastText模型体积小于Facebook官方原生实现的FastText模型。基于100万词规模的语料训练后，Facebook原生FastText模型体积达6GB，而Gensim实现的FastText模型体积仅为68MB。请问Facebook原生FastText的实现中是否存储了Gensim实现版本未包含的额外信息？

答案 #

是的，Facebook原生FastText的默认保存逻辑确实会存储大量Gensim实现默认不会保留的信息，体积差异主要来自以下几部分额外内容：

• 完整的n-gram哈希桶向量：原生FastText默认会分配大小为2^21（约210万）的n-gram哈希桶，训练完成后会将所有哈希桶位置的向量完整存储，不管对应n-gram是否在训练语料中出现过。而Gensim默认仅保留实际在语料中出现过的n-gram对应的向量，未命中的哈希桶向量会直接丢弃，仅这一项就可以减少90%以上的n-gram存储空间占用。
• 输出层权重矩阵：FastText训练过程会用到两个权重矩阵：输入矩阵（对应词、n-gram的向量，也就是我们通常使用的词向量来源）、输出矩阵（对应训练时负采样/层次softmax的输出层参数，仅训练阶段需要）。原生FastText会把两个矩阵全部保存，而Gensim的FastText实现默认训练结束后仅保留用于生成词向量的输入矩阵，直接丢弃输出矩阵，仅当手动指定保留完整训练参数时才会存储这部分内容。
• 训练元信息与任务参数：原生FastText会存储完整的词频统计、训练配置参数、采样缓存等中间状态信息；如果训练的是有监督分类模型，还会额外存储分类器权重、标签向量等任务相关参数，这些内容Gensim默认都不会保留。
• 存储格式差异：原生FastText使用未压缩的二进制格式存储所有参数，而Gensim的默认模型存储格式会对重复数据做压缩处理，进一步缩小了最终的文件体积。

内容的提问来源于stack exchange，提问作者Jinhua Wang