构建MILVUS教材RAPTOR索引时遇pymilvus连接错误求助

错误原因 #

直接报错ModuleNotFoundError: No module named 'milvus_lite'，说明你的Python环境中缺少Milvus Lite依赖。当你用MilvusClient("milvus_demo.db")连接本地文件时，pymilvus会调用Milvus Lite的本地服务，但该模块未安装。

解决步骤 #

1. 安装Milvus Lite #

在终端执行以下命令：

pip install milvus-lite

注：你的Python3.12版本与当前milvus-lite兼容（支持3.8-3.12版本）。

2. 修正代码中的连接与操作冲突 #

你的代码同时混用了MilvusClient轻量客户端和pymilvus的ORM类（Collection、connections等），会导致连接逻辑冲突。建议统一用MilvusClient完成所有操作，简化后的核心代码如下：

import fitz  # PyMuPDF
from sentence_transformers import SentenceTransformer
import numpy as np
from pymilvus import MilvusClient
from transformers import pipeline

# 初始化模型
sbert_model = SentenceTransformer('paraphrase-MiniLM-L6-v2')
summarizer = pipeline("summarization", model="facebook/bart-large-cnn")

# 连接Milvus Lite
client = MilvusClient("milvus_demo.db")

collection_name = "textbook_embeddings"

# 重建集合（如果存在则删除）
if client.has_collection(collection_name):
    client.drop_collection(collection_name)

# 定义集合 schema
schema = MilvusClient.create_schema(
    auto_id=True,
    primary_field_name="id",
)
schema.add_field(field_name="embedding", datatype="FLOAT_VECTOR", dim=384)
schema.add_field(field_name="text", datatype="VARCHAR", max_length=65535)
schema.add_field(field_name="subject", datatype="VARCHAR", max_length=100)
schema.add_field(field_name="metadata", datatype="VARCHAR", max_length=65535)

# 创建集合并添加索引
client.create_collection(
    collection_name=collection_name,
    schema=schema,
    index_params={
        "index_type": "IVF_FLAT",
        "metric_type": "L2",
        "params": {"nlist": 1024}
    }
)

# 原extract_text_from_pdf、chunk_text、embed_texts函数保持不变

# 插入数据修正（向量需转成列表格式）
data = [
    {
        "embedding": all_embeddings[i].tolist(),
        "text": all_text_chunks[i],
        "subject": "textbook",
        "metadata": f"pdf:{pdf_paths[i%3]}"  # 可补充页码等元数据
    } 
    for i in range(len(all_embeddings))
]
res = client.insert(collection_name=collection_name, data=data)

# 搜索、查询操作保持不变

3. 额外优化提示 #

• 你的chunk_text函数仅按单词数切分，未保留句子边界，后续可使用nltk或spaCy的句子分割工具优化，先拆分句子再合并至约100token。
• 插入数据时需确保向量为Python列表格式（numpy数组需转成tolist），避免MilvusClient报错。

内容的提问来源于stack exchange，提问作者Code Nonsense