Langchain集成ChromaDB加载大量PDF向量库失败：无报错却无结果

程序用于与目录内PDF文件对话，处理5个单页PDF时运行正常，但处理1000个单页PDF时失效。Chroma向量库初始化未完成且无报错，持久化目录缺失data_level0.bin、header.bin、length.bin、link_lists.bin文件，执行相似性搜索返回无文档。

核心代码片段：

import hashlib
import os
from langchain.document_loaders import PyPDFDirectoryLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import Chroma
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.chains.question_answering import load_qa_chain

# 向量库持久化逻辑
MD5hash_pdf_persits_dir = hashlib.md5(pdf_folder_path.encode('utf-8')).hexdigest()
if os.path.exists(MD5hash_pdf_persits_dir):
    vectordb = Chroma(persist_directory=MD5hash_pdf_persits_dir,
                         embedding_function=HuggingFaceEmbeddings())
else:
    pdf_loader = PyPDFDirectoryLoader(pdf_folder_path)
    pdf_docs = pdf_loader.load()
    text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
    all_splits = text_splitter.split_documents(pdf_docs)
    vectordb = Chroma.from_documents(documents=all_splits,
                                        embedding=HuggingFaceEmbeddings(),
                                        persist_directory=MD5hash_pdf_persits_dir)
    vectordb.persist()
    vectordb = None
    vectordb = Chroma(persist_directory=MD5hash_pdf_persits_dir,
                         embedding_function=HuggingFaceEmbeddings())

# 问答逻辑
docs = vectordb.similarity_search(query=query, k=3)
chain = load_qa_chain(llm=llm, chain_type="stuff")
response = chain.run(input_documents=docs, question=query)

• 检查系统资源限制：1000个PDF生成的文本分片数量极大，Chroma生成嵌入向量时会占用大量内存和CPU。查看系统内存使用率，若内存不足会导致嵌入生成中断，进而无法生成完整的持久化文件。可通过增加内存、切换更轻量化的嵌入模型（如sentence-transformers/all-MiniLM-L6-v2）降低内存消耗。
• 验证PDF加载完整性：1000个PDF中可能存在损坏或无法解析的文件，导致PyPDFDirectoryLoader加载中断。在加载后添加校验：打印len(pdf_docs)确认是否等于1000，或逐个捕获加载异常，跳过损坏文件。
• 优化批量处理逻辑：一次性处理大量文本分片可能超出Chroma的处理上限。尝试将all_splits拆分为多个批次，通过add_documents分批插入向量库，每批处理后调用persist()，避免单次处理压力过大。
• 排查Chroma版本与持久化步骤：旧版Chroma在大数量数据持久化时可能存在bug，升级到最新稳定版。另外，当前代码中persist()后立即将vectordb置空再重新加载，可尝试移除vectordb = None这一步，确保持久化操作完全完成后再重新实例化。
• 添加关键节点日志：在步骤中添加日志，如打印len(all_splits)确认分片数量，在from_documents后打印vectordb._collection.count()查看向量库实际存储的文档数。若数量为0，说明嵌入生成或插入过程未完成，可逐步定位问题节点。
• 确认磁盘权限与空间：检查持久化目录所在磁盘是否有足够空间，程序是否具备读写该目录的权限。磁盘空间不足或权限不足会导致文件写入失败，缺失关键的bin文件。

内容的提问来源于stack exchange，提问作者Rajeshwar Singh Jenwar