基于MongoDB与Pinecone的RAG聊天bot遇list index out of range错误求助

核心触发原因 #

该错误几乎都是由于Pinecone upsert操作的输入数据结构不合法导致，常见场景包括：

• 向量、ID、元数据的列表长度不匹配
• 单条数据中缺失向量值（如嵌入模型生成空向量）
• 数据条目结构不符合Pinecone要求，导致内部索引访问失败

分步排查与修复 #

• 过滤无效向量数据
  先检查从MongoDB同步的内容是否生成了有效向量，若存在空向量（比如原文本为空、嵌入模型调用失败），直接过滤掉：

  # 示例：过滤无向量或向量维度不符的记录
  valid_data = [
      item for item in mongo_records 
      if "vector" in item and len(item["vector"]) == YOUR_EMBEDDING_DIMENSION
  ]
  

• 校验数据列表一致性
  确保传入upsert的所有数据列表长度严格一致，若分开传入ids、vectors、metadata，必须满足三者长度相等：

  # 强制校验，提前发现长度不匹配问题
  ids = [item["id"] for item in valid_data]
  vectors = [item["vector"] for item in valid_data]
  metadatas = [item["metadata"] for item in valid_data]
  
  assert len(ids) == len(vectors) == len(metadatas), "ID、向量、元数据列表长度不匹配"
  

• 检查单条数据结构
  确认每条数据符合Pinecone的upsert格式要求：要么是包含id、values、metadata的字典，要么是(id, values, metadata)元组。禁止出现缺少values字段的条目。

• 添加调试日志定位问题
  在upsert前输出关键信息，定位异常数据：

  print(f"待上传有效数据量：{len(valid_data)}")
  # 打印前3条数据结构，排查是否存在异常
  for idx, item in enumerate(valid_data[:3]):
      print(f"第{idx+1}条数据：{item}")
  

内容的提问来源于stack exchange，提问作者Gabriel Lisboa