Linux服务器向Milvus插入2000万向量遇RPC报错求助

问题根源 #

错误提示grpc: received message larger than max (704699372 vs. 67108864)说明你插入的单批次数据生成的gRPC消息超过了默认64MB限制，且你之前修改的是自定义gRPC Server参数，而非Milvus服务端和客户端的配置，因此无效。

解决方案 #

1. 修改Milvus服务端的gRPC消息大小限制 #

找到Milvus的配置文件（默认路径为/milvus/configs/milvus.yaml，部署方式不同路径可能有变化），修改以下配置项：

grpc:
  max_send_msg_size: 268435456  # 设置为256MB，可根据实际需求调整
  max_recv_msg_size: 268435456

修改后重启Milvus服务，确保配置生效。

2. 配置客户端的gRPC参数（以PyMilvus为例） #

连接Milvus时，需在客户端指定对应的gRPC消息大小限制，而非自行创建gRPC Server：

from pymilvus import connections

connections.connect(
    alias="default",
    host="127.0.0.1",
    port="19530",
    grpc_options={
        "grpc.max_send_message_length": 256 * 1024 * 1024,
        "grpc.max_receive_message_length": 256 * 1024 * 1024
    }
)

3. 减小批量插入的批次大小 #

即便调整了gRPC限制，也不建议一次性插入2000万条全量数据，这会大幅增加内存压力和插入失败风险。建议拆分批次，比如每个批次1万~5万条：

from pymilvus import Collection

# 假设你的集合已创建完成
collection = Collection("your_collection_name")
total_vectors = ...  # 你的2000万条向量数据
batch_size = 10000  # 可根据服务器性能调整批次大小

for idx in range(0, len(total_vectors), batch_size):
    batch_data = total_vectors[idx:idx+batch_size]
    collection.insert(batch_data)
    print(f"已完成第 {idx//batch_size + 1} 批次插入，累计插入 {min(idx+batch_size, len(total_vectors))} 条数据")

内容的提问来源于stack exchange，提问作者sai_0033