FastText Python API中get_input_matrix与get_output_matrix作用解析

一、两个方法的用途与权重属性 #

• get_input_matrix()：返回的就是模型的输入权重矩阵，对应FastText里词（包括子词）的嵌入向量。矩阵维度是(词汇表大小 + 子词数量) × 嵌入维度，你看到的4M×300就是这个原因——FastText会把所有子词也纳入输入嵌入，所以规模比单纯的词表大。这部分是模型训练时核心学习的权重之一，用于将输入的词/子词转换成向量表示。
• get_output_matrix()：理论上对应输出层的权重矩阵，用于将输入嵌入映射到分类标签（如果是分类任务）或者计算词相似度（如果是无监督训练）。但你看到全零矩阵是有特定原因的。

二、输出矩阵全零的原因 #

这是因为你使用的是无监督训练的FastText模型（比如用skipgram或cbow训练的词向量模型）。这类模型在训练时，FastText会用**分层softmax（Hierarchical Softmax）**来优化计算效率，这种方法不需要显式存储完整的输出权重矩阵——它通过哈夫曼树的节点权重来替代，所以get_output_matrix()返回的就是全零矩阵，因为根本没有存储这部分完整矩阵。

如果是有监督分类训练的FastText模型（用supervised模式训练），get_output_matrix()就会返回非零的权重矩阵，对应分类标签的输出映射权重。

另外补充一点：FastText的官方实现里，无监督模型确实不会保存输出层的完整矩阵，这是为了节省内存，毕竟分层softmax可以大幅减少参数存储量。

内容的提问来源于stack exchange，提问作者Kadir Gunel