Langchain/ChromaDB：VectorStore返回重复文档，如何获取唯一结果？

你的问题核心是每次运行代码都会重复向Chroma内存数据库插入相同的文档分片，多次运行后数据库里堆积了大量重复数据，检索时自然返回全重复的结果。以下是具体解决办法：

一、避免重复插入（从根源解决） #

1. 使用持久化存储复用数据库 #

Chroma默认用内存存储，重启或重复运行会丢失/重复插入数据。指定本地目录作为持久化存储，首次运行创建并保存数据库，后续直接加载已有数据即可：

import os
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings

# 指定持久化存储目录
persist_directory = "./chroma_local_db"

# 判断目录是否存在且已有数据
if os.path.exists(persist_directory) and len(os.listdir(persist_directory)) > 0:
    # 加载已存在的数据库
    vectorstore = Chroma(
        persist_directory=persist_directory,
        embedding_function=OpenAIEmbeddings()
    )
else:
    # 首次运行：创建并保存数据库
    vectorstore = Chroma.from_documents(
        documents=all_splits,
        embedding=OpenAIEmbeddings(),
        persist_directory=persist_directory
    )
    vectorstore.persist()

2. 拆分Notebook代码单元格 #

在Colab/Jupyter中，把文档加载、分片、数据库创建的代码单独放在一个单元格，仅运行一次；后续检索逻辑放在另一个单元格，重复运行时直接复用已创建的vectorstore变量。

二、清理已存在的重复数据 #

如果数据库中已经堆积了重复数据，可通过以下方式清理：

• 直接删除Chroma的持久化目录（如果使用了持久化），然后重新运行一次数据库创建代码。
• 或者在现有数据库中根据元数据去重：

# 获取数据库中所有文档的元数据和ID
all_metadatas = vectorstore.get()["metadatas"]
all_ids = vectorstore.get()["ids"]

# 记录唯一文档的ID（通过source和start_index标识唯一性）
unique_keys = set()
keep_ids = []
for idx, meta in enumerate(all_metadatas):
    key = (meta["source"], meta["start_index"])
    if key not in unique_keys:
        unique_keys.add(key)
        keep_ids.append(all_ids[idx])

# 删除重复的文档ID
delete_ids = [id for id in all_ids if id not in keep_ids]
vectorstore.delete(ids=delete_ids)

三、检索后对结果去重 #

如果暂时不想修改数据库，也可以在检索后对结果进行去重处理：

retrieved_docs = retriever.get_relevant_documents("What is X?")

# 根据source和start_index去重
unique_docs = {}
for doc in retrieved_docs:
    key = (doc.metadata["source"], doc.metadata["start_index"])
    if key not in unique_docs:
        unique_docs[key] = doc

# 获取去重后的前6个文档
final_unique_docs = list(unique_docs.values())[:6]

内容的提问来源于stack exchange，提问作者narcissa