使用默认配置的ChromaDB执行similarity_search返回重复文档求助

以下是针对你遇到的重复检索结果问题的排查步骤和解决方案：

1. 检查文本加载与分割环节是否产生重复块 #

首先确认PDF加载和文本分割后的文档本身是否存在重复，这是最常见的原因：

# 加载PDF后先检查文档数量与内容
from langchain_community.document_loaders import PyPDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

loader = PyPDFLoader("你的PDF文件路径")
documents = loader.load()
print(f"原始文档页数：{len(documents)}")

# 执行文本分割
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200,
    length_function=len
)
split_docs = text_splitter.split_documents(documents)

# 检查分割后是否有重复块
unique_content = set(doc.page_content.strip() for doc in split_docs)
print(f"分割后总块数：{len(split_docs)}，唯一块数：{len(unique_content)}")

如果唯一块数远小于总块数，说明分割逻辑或PDF本身存在重复内容：

• 若PDF包含重复页面，先清理PDF内容
• 调整分割参数（如缩小chunk_overlap）避免过度重叠导致的重复块

2. 避免重复向Chroma添加文档 #

如果多次执行向量库构建代码，会导致同一文档块被重复添加到库中，检索时就会返回重复结果：

错误示例（重复添加）： #

# 多次运行这段代码会重复添加文档
from langchain_community.vectorstores import Chroma
from langchain_community.embeddings import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
db = Chroma.from_documents(split_docs, embeddings, persist_directory="./chroma_db")

解决方案： #

构建前清空持久化目录，确保只添加一次文档：

import shutil
import os

persist_dir = "./chroma_db"
# 若目录存在则清空
if os.path.exists(persist_dir):
    shutil.rmtree(persist_dir)

# 重新构建向量库
db = Chroma.from_documents(split_docs, embeddings, persist_directory=persist_dir)

3. 验证Embedding向量生成是否正常 #

如果不同文本生成的向量完全相同，Chroma会判定为相似文档返回：

# 取两个不同的分割块生成向量并对比
vec1 = embeddings.embed_query(split_docs[0].page_content)
vec2 = embeddings.embed_query(split_docs[1].page_content)

print(f"第一个向量前5位：{vec1[:5]}")
print(f"第二个向量前5位：{vec2[:5]}")

若两个向量完全一致，检查：

• 所用Embedding模型是否正常（如OpenAI API是否调用成功，本地模型是否加载正确）
• 分割后的文本是否确实存在差异

4. 检查文档Metadata与ID唯一性 #

Chroma默认会为每个文档生成唯一ID，但如果手动设置了重复ID，可能导致文档覆盖或重复索引：

• 避免手动给多个文档设置相同的id字段
• 允许Chroma自动生成唯一ID，或确保自定义ID全局唯一

5. 排查版本兼容性问题 #

你的依赖版本组合可能存在兼容性问题，尝试调整版本：

• 升级chromadb到0.4.25
• 确保langchain与langchain-community版本匹配（当前0.1.13与0.0.29是兼容的，但可尝试同步小版本升级）

内容的提问来源于stack exchange，提问作者enter_thevoid