如何提升ChromaDB中集合创建与数据添加的速度？

问题背景 #

用户当前使用ChromaDB的代码如下：

创建集合代码 #

client = chromadb.Client()
collection = client.create_collection(
  name="collection_name",
  metadata={"hnsw:space": "cosine"}
)

添加数据代码 #

collection.add(
  documents=a['documents'],
  metadatas=b['metadatas'],
  ids=c['ids']
) 

希望找到加快上述操作速度的方法，提升运行效率。

具体提速方法 #

• 最大化批量操作规模
  避免拆分多次小批量调用collection.add，尽可能将所有待导入数据一次性传入。ChromaDB的批量处理逻辑经过优化，能大幅减少IO交互和索引构建的重复开销。
• 临时降低索引构建开销
  创建集合时可通过metadata调整索引参数，比如设置{"hnsw:construction_ef": 16, "hnsw:M": 16}，降低索引构建时的计算成本；或者先关闭自动索引构建，待所有数据导入完成后再手动触发索引优化，适合纯批量导入场景。
• 切换为持久化客户端
  默认的内存客户端在数据量较大时会因内存频繁扩容产生性能损耗，改用chromadb.PersistentClient(path="./chroma_storage")作为客户端，能稳定提升写入效率。
• 离线预处理嵌入向量
  如果依赖ChromaDB内置模型生成嵌入向量，这一步往往是性能瓶颈。建议提前离线完成所有文档的向量计算，调用collection.add时直接通过embeddings参数传入预计算的向量，跳过内置模型的推理步骤。
• 并行处理大批次数据
  针对超大规模数据集，可将数据拆分为若干大批次，用多进程并行执行collection.add（注意多进程环境下每个进程需独立创建客户端实例）。需根据硬件配置控制并行度，避免磁盘IO过载。
• 替换存储后端
  默认的SQLite存储在高并发或大数据量场景下性能有限，可切换为PostgreSQL等更高效的数据库作为ChromaDB的存储后端，显著提升数据写入的吞吐量。

内容的提问来源于stack exchange，提问作者user22403491