如何将Gensim生成的TF-IDF稀疏向量转为稠密向量存入向量库？

我正在使用Gensim的tfidfmodel对一批文档进行向量化处理，希望将结果存入向量数据库（vector DB），并通过数据库计算文档相似度（已知Gensim有similarities模块，但希望在数据库内实现）。

根据官方文档示例，得到的TF-IDF输出为稀疏形式（如元组列表，省略未出现的词汇）。我认为需要将每个文档的向量转换为稠密数组，因为无法直接使用元组中的数值（缺失未出现词汇的项）。请问如何完成这种转换？

使用matutils.corpus2dense(corpus_tfidf,dictionary.num_nnz).T的方式是否正确？示例代码如下：

import gensim.matutils
densematrix = gensim.matutils.corpus2dense(corpus_tfidf,dictionary.num_nnz).T

你用gensim.matutils.corpus2dense转换的思路是对的，但代码里的维度参数需要调整，具体说明如下：

正确的转换代码 #

import gensim.matutils
# 以字典的总词汇数作为稠密向量的维度
dense_matrix = gensim.matutils.corpus2dense(corpus_tfidf, num_terms=len(dictionary)).T

参数说明 #

• corpus2dense的第二个参数num_terms需要指定词汇表的总维度，也就是字典的总词汇数（用len(dictionary)获取）。你之前用的dictionary.num_nnz是字典中非零项的总数，当字典存在从未在语料中出现的词汇时，这个数值会小于总词汇数，导致生成的稠密向量维度不足，丢失部分词汇的位置信息。
• 调用.T是正确的：corpus2dense默认返回(词汇数, 文档数)的矩阵，转置后得到(文档数, 词汇数)的矩阵，每个行向量对应一篇文档的稠密TF-IDF表示，符合向量数据库的存储格式要求。

额外建议 #

如果你的语料词汇量很大（如十万级以上），转换为稠密向量会占用大量内存，可参考以下方案：

• 优先检查目标向量数据库是否支持稀疏向量存储（多数现代向量数据库都支持），直接存入稀疏形式既能节省空间，也不影响数据库内的相似度计算。
• 若必须使用稠密向量，可先对TF-IDF向量做降维处理（比如用PCA），再存入数据库。

内容的提问来源于stack exchange，提问作者Peter