为何向量数据库返回无关结果？LangChain医学检索问题排查

问题场景 #

基于Python+LangChain构建医学领域向量检索系统，采用NCBI Statpearls语料库（单篇动脉闭塞文章），按段落分块并附加标题/章节上下文，但检索end stage kidney disease时，含该术语的结果仅排第三，FAISS、LanceDB均存在类似问题，当前使用text-embedding-ada-002嵌入模型。

优化方案 #

1. 调整分块策略，避免语义稀释 #

• 长段落分块会导致关键词的语义权重被稀释，建议改用语义感知分块：使用LangChain的RecursiveCharacterTextSplitter，结合医学文本的标点、换行特征设置分隔符，将长段落拆分为500-1000字符的小块，保留10%-20%的重叠度，确保关键词所在块的语义聚焦。
• 对包含医学关键术语的块单独标记，或确保术语完整落在单个块内，避免拆分导致语义断裂。

示例代码：

from langchain.text_splitter import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=600,
    chunk_overlap=60,
    separators=["\n\n", "\n", ".", "!", "?", "——", " "]  # 适配医学文本的分隔符
)
# 假设original_docs是解析后的Document对象列表（含metadata：章节、标题）
processed_chunks = []
for doc in original_docs:
    chunks = text_splitter.split_documents([doc])
    for chunk in chunks:
        # 继承原文档的元数据，增强上下文关联
        chunk.metadata.update({
            "chapter": doc.metadata.get("chapter"),
            "title": doc.metadata.get("title")
        })
        processed_chunks.append(chunk)

2. 优化嵌入模型与参数 #

• 修正chunk_size=1的参数错误：OpenAIEmbeddings的chunk_size指单次请求处理的文本块数量，设置为1会大幅降低效率，且无法利用批量嵌入的语义优化，建议调整为chunk_size=1000（或根据文本长度适配）。
• 替换为医学专用嵌入模型：通用嵌入模型对医学术语的语义理解不足，可选用sentence-transformers/all-MiniLM-L6-v2-medical（医学微调版）或OpenAI的text-embedding-3-large，后者在专业领域的语义匹配精度更高。

3. 采用混合检索+重排序提升精准度 #

• 混合检索：结合向量检索与BM25关键词检索，利用BM25的词频优势捕捉精准匹配，再通过向量检索补充语义关联，LangChain的EnsembleRetriever可实现两者融合。
• 二次重排序：使用CrossEncoder模型对召回的候选结果重新排序，CrossEncoder能直接计算查询与文本块的相关性得分，比单向量嵌入的相似度更精准，适合医学领域的精准检索需求。

示例代码（混合检索）：

from langchain.retrievers import BM25Retriever, EnsembleRetriever
from langchain_lancedb import LanceDB
from langchain.embeddings import OpenAIEmbeddings

# 初始化BM25检索器
bm25_retriever = BM25Retriever.from_documents(processed_chunks)
bm25_retriever.k = 5

# 初始化LanceDB向量检索器
embeddings = OpenAIEmbeddings(deployment_id='Embedding', chunk_size=1000)
db = LanceDB.from_documents(processed_chunks, embeddings, connection=table)
vector_retriever = db.as_retriever(search_kwargs={"k": 5})

# 构建混合检索器，权重可根据效果调整
ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, vector_retriever],
    weights=[0.4, 0.6]
)

# 获取优化后的检索结果
docs = ensemble_retriever.get_relevant_documents('end stage kidney disease')

4. 强化元数据的利用 #

• 将元数据（章节名、标题）与文本内容结构化拼接，比如格式化为【章节：{chapter}】【标题：{title}】{content}，让嵌入模型更好地关联上下文与内容，提升语义匹配的精准度。
• 检索前先通过元数据过滤：如果已知目标术语可能出现在特定章节，先过滤该章节的块再进行向量检索，减少无关结果的干扰。

5. 清理文本噪声 #

• 检查XML解析生成的分块内容，移除冗余标签、空白字符、格式错误等噪声，避免干扰嵌入模型的语义提取。

内容的提问来源于stack exchange，提问作者cash999