如何从Pinecone旧免费账户导出全量向量至新账户？

问题背景 #

需要将旧免费Pinecone账户中包含12000个向量的索引迁移至新免费账户，尝试两种方法均失败：

• 设置top_k=12000全量查询，因Pinecone限制top_k最大为10000报错
• 尝试集合功能，但无法跨账户访问集合

可行解决方案 #

Pinecone没有直接的全量导出UI/API，但可以通过以下两种方法实现全量数据导出：

方法1：分页查询+过滤已获取ID #

利用query接口分批次获取，通过过滤已拿到的ID避免重复，代码示例：

import pinecone
from your_embedder_module import embedder  # 替换为你的嵌入模型

# 初始化旧账户Pinecone连接
pinecone.init(api_key="旧账户API密钥", environment="旧账户环境")
index = pinecone.Index("旧索引名称")

# 获取索引总向量数
stats = index.describe_index_stats()
total_vectors = stats.total_vector_count

all_vectors = []
seen_ids = set()
batch_size = 10000  # 单次查询最大上限

while len(all_vectors) < total_vectors:
    # 生成查询向量（任意向量均可，只要能匹配到剩余数据）
    query_embedding = embedder.encode("placeholder", convert_to_numpy=True)
    # 过滤已获取的ID
    filter_params = {"id": {"$nin": list(seen_ids)}} if seen_ids else {}
    
    # 执行查询
    response = index.query(
        query_embedding,
        top_k=min(batch_size, total_vectors - len(all_vectors)),
        include_metadata=True,
        include_values=True,
        filter=filter_params
    )
    
    # 保存结果并记录已获取ID
    for match in response.matches:
        all_vectors.append({
            "id": match.id,
            "values": match.values,
            "metadata": match.metadata
        })
        seen_ids.add(match.id)

# 导出完成后，切换到新账户导入
pinecone.init(api_key="新账户API密钥", environment="新账户环境")
new_index = pinecone.Index("新索引名称")

# 批量插入新索引（单次最多插入1000个向量）
for i in range(0, len(all_vectors), 1000):
    batch = all_vectors[i:i+1000]
    # 转换为Pinecone要求的插入格式
    insert_batch = [(vec["id"], vec["values"], vec["metadata"]) for vec in batch]
    new_index.upsert(vectors=insert_batch)

方法2：Fetch API（适用于ID有规律的场景） #

如果你的向量ID是有规律的（比如自增数字、固定前缀序列），可以直接生成ID列表，用fetch接口批量获取数据，代码示例：

import pinecone

# 初始化旧账户连接
pinecone.init(api_key="旧账户API密钥", environment="旧账户环境")
index = pinecone.Index("旧索引名称")

all_vectors = []
total_vectors = 12000  # 已知向量总数

# 按批次生成ID并fetch（单次最多1000个ID）
for start in range(0, total_vectors, 1000):
    end = min(start + 1000, total_vectors)
    # 替换为你的ID生成逻辑，比如ID是字符串格式的数字
    ids = [str(i) for i in range(start, end)]
    response = index.fetch(ids=ids)
    all_vectors.extend(list(response.vectors.values()))

# 切换到新账户导入（同方法1的插入逻辑）
pinecone.init(api_key="新账户API密钥", environment="新账户环境")
new_index = pinecone.Index("新索引名称")

for i in range(0, len(all_vectors), 1000):
    batch = all_vectors[i:i+1000]
    insert_batch = [(vec.id, vec.values, vec.metadata) for vec in batch]
    new_index.upsert(vectors=insert_batch)

注意事项 #

• 免费账户的API调用有速率限制，批量操作时注意控制请求频率，避免触发限流
• 导出数据时确保include_values和include_metadata均设为True，避免遗漏数据
• 导入新索引前，需确保新索引的维度、距离度量与旧索引完全一致

内容的提问来源于stack exchange，提问作者Sea Jung