使用ChromaDB与HuggingFace处理千页PDF时遇KeyError问题求助

问题背景 #

尝试使用HuggingFace Embeddings与ChromaDB处理1000+页PDF文件，上传大文件时触发错误，不确定ChromaDB是否支持此类大文件，需明确可行方案或判断是否更换数据库。

错误信息 #

File "/Library/Frameworks/Python.framework/Versions/3.11/lib/python3.11/site-packages/langchain/vectorstores/chroma.py", line 613, in from_documents
    return cls.from_texts(
           ^^^^^^^^^^^^^^^
  File "/Library/Frameworks/Python.framework/Versions/3.11/lib/python3.11/site-packages/langchain/vectorstores/chroma.py", line 577, in from_texts
    chroma_collection.add_texts(texts=texts, metadatas=metadatas, ids=ids)
  File "/Library/Frameworks/Python.framework/Versions/3.11/lib/python3.11/site-packages/langchain/vectorstores/chroma.py", line 205, in add_texts
    [embeddings[idx] for idx in non_empty_ids] if embeddings else None
  File "/Library/Frameworks/Python.framework/Versions/3.11/lib/python3.11/site-packages/langchain/vectorstores/chroma.py", line 205, in <listcomp>
    [embeddings[idx] for idx in non_empty_ids] if embeddings else None
     ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
KeyError: 0

涉事代码 #

embeddings = HuggingFaceHubEmbeddings(huggingfacehub_api_token=access_token)
loader = OnlinePDFLoader(document)
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=300, chunk_overlap=0)
texts = text_splitter.split_documents(documents)
db = Chroma.from_documents(texts, embeddings, persist_directory="./chroma_db")

解决方案 #

该错误并非ChromaDB不支持大文件，而是文本分片或Embedding生成过程中出现索引不匹配问题，以下是可行解决思路：

• 过滤空文本分片：文本分片后可能产生空内容的文档，导致Embedding生成时索引异常，添加过滤逻辑：

  texts = [doc for doc in texts if doc.page_content.strip()]
  

• 分批添加文档：HuggingFace Hub的Embedding服务有批量请求限制，一次性处理大量分片易触发异常，改为分批添加：

  # 初始化空Chroma库
  db = Chroma(embedding_function=embeddings, persist_directory="./chroma_db")
  # 分批处理
  batch_size = 100
  for i in range(0, len(texts), batch_size):
      batch = texts[i:i+batch_size]
      # 过滤空分片
      filtered_batch = [doc for doc in batch if doc.page_content.strip()]
      db.add_documents(filtered_batch)
  db.persist()
  

• 改用本地HuggingFace Embeddings：避免调用远程API的网络延迟、频次限制问题，使用本地模型生成Embedding：

  from langchain.embeddings import HuggingFaceEmbeddings
  # 替换为合适的本地Embedding模型
  embeddings = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")
  

• 优化文本分片策略：当前chunk_size=300过小，可能导致大量碎片化文档甚至空分片，调整分片参数：

  text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=100)
  texts = text_splitter.split_documents(documents)
  

关于ChromaDB的适配性 #

ChromaDB完全支持处理大文件场景，只要做好文本分片、空内容过滤和Embedding批量处理，无需更换数据库。若后续数据量增长到百万级以上，再考虑分布式向量库（如Pinecone、Weaviate）。

内容的提问来源于stack exchange，提问作者Python12492