Pinecone免费层仅上传1466条向量，如何完成86000条向量上传？

以下是针对性的排查和解决步骤：

1. 控制Upsert批量大小与请求频率 #

Pinecone免费层（Starter Pod）对请求速率和单批向量数量有限制，单次upsert的向量数建议控制在100-500条之间，避免触发限流机制。同时，在请求之间加入短暂延迟（0.1-0.5秒），或通过指数退避策略处理429限流错误。

示例代码片段（Python）：

import pinecone
import time

# 初始化客户端
pinecone.init(api_key="YOUR_API_KEY", environment="YOUR_ENV")
index = pinecone.Index("YOUR_INDEX_NAME")

# 拆分向量为批次
batch_size = 300
vectors = YOUR_VECTOR_LIST  # 包含id、vector、metadata的列表

for i in range(0, len(vectors), batch_size):
    batch = vectors[i:i+batch_size]
    try:
        index.upsert(vectors=batch)
        print(f"完成批次 {i//batch_size + 1}，上传 {len(batch)} 条向量")
        time.sleep(0.2)  # 加入短暂延迟避免限流
    except pinecone.core.client.exceptions.ApiException as e:
        if e.status == 429:
            print("触发限流，等待2秒后重试")
            time.sleep(2)
            index.upsert(vectors=batch)
        else:
            print(f"批次上传失败: {e}")

2. 完善错误捕获与重试机制 #

部分批次上传失败往往是未处理API错误（网络波动、限流、格式问题等）导致的。使用重试逻辑确保失败的批次能被重新上传：

from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=2, max=10))
def upsert_batch(index, batch):
    index.upsert(vectors=batch)

# 批量上传循环
for i in range(0, len(vectors), batch_size):
    batch = vectors[i:i+batch_size]
    try:
        upsert_batch(index, batch)
        print(f"批次 {i//batch_size +1} 上传成功")
        time.sleep(0.1)
    except Exception as e:
        print(f"批次 {i//batch_size +1} 最终失败: {str(e)}")

3. 验证元数据与向量格式 #

• 确保所有向量维度严格为768，维度不符的向量会导致整个批次上传失败；
• 元数据中的字符串整数格式需规范，比如{"id_str": "123"}，键名不能包含.、$等特殊符号；
• 先上传10条以内的小批量测试格式正确性，确认无误后再执行全量上传。

4. 检查Pod状态与索引配置 #

• 登录Pinecone控制台，确认目标索引的Pod处于Ready状态，无异常重启或资源不足提示；
• 确认索引维度设置为768，与上传向量维度完全匹配；
• 免费层Starter Pod支持最大100,000条向量，86,000条在额度范围内，无需担心容量限制。

5. 核对上传统计 #

完成上传后，调用API确认实际存储的向量数量：

stats = index.describe_index_stats()
print(f"已存储向量总数: {stats['total_vector_count']}")

若统计数量与预期不符，检查是否存在重复ID（重复ID会覆盖旧向量），或未捕获的错误导致批次丢失。

内容的提问来源于stack exchange，提问作者Polb