如何将Gensim Word2Vec模型接入LangChain的FAISS向量库？

1. 报错原因 #

LangChain的FAISS.from_documents()要求传入的嵌入模型必须实现LangChain的Embeddings抽象接口，该接口强制要求实现embed_documents和embed_query两个方法。而Gensim原生的Word2Vec对象没有这两个方法，因此抛出AttributeError。

2. 自定义适配类，让Word2Vec兼容LangChain #

你需要编写一个自定义类，继承LangChain的Embeddings，封装Word2Vec的向量生成逻辑：

from langchain.embeddings.base import Embeddings
from gensim.models import Word2Vec
import numpy as np

class Word2VecEmbeddings(Embeddings):
    def __init__(self, w2v_model: Word2Vec):
        self.w2v_model = w2v_model
        self.vector_size = w2v_model.vector_size

    def embed_documents(self, texts: list[str]) -> list[list[float]]:
        # 对每个文本生成向量：分词后取词向量的平均值
        embeddings = []
        for text in texts:
            words = text.split()  # 此处需与训练Word2Vec时的分词逻辑完全一致
            word_vectors = []
            for word in words:
                if word in self.w2v_model.wv:
                    word_vectors.append(self.w2v_model.wv[word])
            if word_vectors:
                doc_vector = np.mean(word_vectors, axis=0).tolist()
            else:
                # 若文本无模型识别的词，返回零向量
                doc_vector = [0.0] * self.vector_size
            embeddings.append(doc_vector)
        return embeddings

    def embed_query(self, text: str) -> list[float]:
        # 查询文本的向量生成逻辑与文档一致
        words = text.split()
        word_vectors = []
        for word in words:
            if word in self.w2v_model.wv:
                word_vectors.append(self.w2v_model.wv[word])
        if word_vectors:
            query_vector = np.mean(word_vectors, axis=0).tolist()
        else:
            query_vector = [0.0] * self.vector_size
        return query_vector

3. 在LangChain中使用该模型 #

将训练好的Word2Vec模型传入自定义类，再传给FAISS即可：

# 初始化自定义嵌入模型
custom_embeddings = Word2VecEmbeddings(w2v_model)

# 创建FAISS向量库
vectorstore = FAISS.from_documents(clean, custom_embeddings)

# 后续可正常使用向量库，例如查询
retriever = vectorstore.as_retriever()
docs = retriever.get_relevant_documents("你的查询文本")

注意：分词逻辑必须和训练Word2Vec时完全匹配，若训练时使用了特定分词工具（如jieba），此处也要用相同工具分词，否则会出现大量词不在模型词汇表中的情况。

4. 是否推荐该方法？替代方案？ #

• 不推荐直接用自定义Word2Vec作为LangChain的嵌入模型：

  1. 效率低：Word2Vec是静态词向量，文档向量需要手动聚合（平均/加权平均），远不如预训练文档嵌入高效；
  2. 效果有限：静态词向量无法处理一词多义，性能远不如BERT类的上下文感知嵌入模型；
  3. 集成成本高：需要自行维护适配类，不如LangChain内置嵌入模型开箱即用。

• 更简便高效的替代方案：

  • 有GPU资源时，使用HuggingFaceEmbeddings加载预训练BERT类模型（如bert-base-chinese、all-MiniLM-L6-v2），LangChain直接支持：

    from langchain.embeddings import HuggingFaceEmbeddings
    
    embeddings = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")
    vectorstore = FAISS.from_documents(clean, embeddings)
    

  • 无GPU时，可使用OpenAIEmbeddings（需API密钥），调用OpenAI的嵌入接口，无需本地计算：

    from langchain.embeddings import OpenAIEmbeddings
    
    embeddings = OpenAIEmbeddings(openai_api_key="你的API密钥")
    vectorstore = FAISS.from_documents(clean, embeddings)
    

内容的提问来源于stack exchange，提问作者Christian01