Spring Boot多阶段RAG Pipeline优化：性能差、响应慢（可更换AI模型）

1. 生产级RAG架构重构与高延迟解决 #

生产级标准架构分层 #

采用请求预处理-检索调度-LLM推理-结果后处理的分层架构：

• 请求预处理：负责查询清洗、术语归一化、缓存命中检查
• 检索调度：处理混合检索（语义+关键词+元数据）、路由决策、并行任务调度
• LLM推理：用轻量模型做意图判断，大模型做生成，支持流式输出降低TTFT感知
• 结果后处理：完成格式校验、引用标签补全、缓存更新

高延迟核心优化手段 #

• 并行化检索与路由决策：无需弃用Router，但要避免串行等待。用户请求进入后，同时启动两个异步任务：① pgvector混合检索（语义+BM25）；② 轻量模型（如微调后的BERT-base或Gemini Nano）做意图路由。待两者结果返回后，结合路由结果过滤检索集，规避大模型Router的高耗时。
• 替换LLM Router为规则+轻量模型：校园场景查询意图相对固定（成绩、选课、后勤服务等），可通过关键词规则匹配+轻量分类模型做路由，延迟可控制在100ms以内，远低于大模型Router的1-2s耗时。
• 检索层性能优化：
  • 给pgvector建立HNSW索引（适配高维向量实时检索），替代IVFFlat（适合批量场景），同时开启向量预计算缓存；
  • 引入Redis缓存热门查询的检索结果与LLM响应，根据内容类型设置合理过期时间（如校园通知缓存1小时，成绩类缓存5分钟）；
  • 采用SSE流式输出：在Spring Boot中通过Server-Sent Events返回LLM生成的首Token，降低用户感知的TTFT。
• LLM选型优化：替换为低延迟模型，如Gemini 1.5 Flash（比Ultra快3-5倍），同时启用模型的流式生成接口。

2. 复杂RAG场景下的Prompt优化实践 #

结构化Prompt分层设计 #

将Prompt拆分为角色定义、约束规则、上下文输入、用户查询、输出格式5个独立模块，确保LLM优先识别约束：

### 角色
你是XX大学校园服务助手，仅基于提供的上下文回答用户问题，不得编造信息。

### 约束规则
1. 所有引用上下文的内容必须用<cite>标签包裹，格式为：<cite>文档ID: 内容片段</cite>；
2. 若上下文无法覆盖用户问题（如涉及最新政策、校外信息），必须触发Google检索，不得自行作答；
3. 回答需简洁明了，符合校园用户的阅读习惯。

### 上下文
---Context Start---
[文档1] ID: SYS20240501，内容：2024年夏季选课时间为6月1日-6月10日，需通过校园统一门户提交申请。
[文档2] ID: SYS20240420，内容：校园卡挂失可通过APP或自助终端办理，挂失后24小时生效。
---Context End---

### 用户问题
请问夏季选课什么时候开始？

### 输出格式
直接输出回答内容，无需额外说明。

强化约束的辅助手段 #

• Few-Shot示例注入：在Prompt头部添加2-3个符合要求的示例，比如正确使用的回答、触发检索的场景示例，强化LLM的规则依从性；
• 工具调用强制触发检索：通过Gemini的Function Calling能力，定义trigger_google_search函数，当LLM判断上下文无法回答时，强制调用该函数，而非依赖LLM自主决策；
• Java代码固化Prompt模板：使用String.format或Thymeleaf模板引擎管理Prompt模板，避免手动拼接导致的格式混乱，同时便于统一修改规则。

3. Vertex AI Ranking适配与自定义评分方案选择 #

Vertex AI Ranking对带元数据文档的适配性 #

Vertex AI Ranking支持带元数据的文档，但需要将元数据转化为模型可识别的特征：

• 将校园文档的元数据（如文档类型、发布时间、访问量、发布主体）转化为文本或数值特征，与文档内容一起传入Ranking API；
• 若当前重排结果不符合预期，大概率是元数据未被有效利用，需调整特征权重或补充校园场景的标注数据进行微调。但微调Vertex AI模型周期长、成本高，不适用于快速迭代的校园平台。

是否改用Java自定义评分算法 #

建议优先采用自定义加权融合评分算法，理由如下：

• 可控性强：校园场景的重排规则明确（如优先官方发布文档、优先最新文档、优先高访问量文档），可直接将语义相似度、BM25关键词匹配度、元数据权重加权融合；
• 低延迟：本地计算无需调用外部API，延迟可控制在几十毫秒以内；
• 易于迭代：可根据师生反馈快速调整权重，比如期末时提高成绩相关文档的权重。

Java实现示例

/**
 * 自定义混合检索评分计算
 */
public double calculateFinalScore(Query query, Document doc) {
    // 1. pgvector语义相似度（0-1）
    double semanticScore = doc.getVectorSimilarity();
    // 2. BM25关键词匹配度（0-1，基于Apache Lucene实现）
    double bm25Score = bm25Calculator.calculate(query.getContent(), doc.getContent());
    // 3. 元数据权重（0-1，比如发布时间越近得分越高，官方文档加权重）
    double metadataScore = calculateMetadataWeight(doc);
    
    // 加权融合（可根据场景调整权重）
    return 0.4 * semanticScore + 0.3 * bm25Score + 0.3 * metadataScore;
}

private double calculateMetadataWeight(Document doc) {
    double weight = 0.0;
    // 官方文档加0.2权重
    if ("official".equals(doc.getSourceType())) {
        weight += 0.2;
    }
    // 发布时间在30天内加0.3权重
    long daysSincePublish = ChronoUnit.DAYS.between(doc.getPublishTime(), LocalDate.now());
    if (daysSincePublish <= 30) {
        weight += 0.3;
    }
    // 高访问量文档加0.2权重
    if (doc.getVisitCount() > 1000) {
        weight += 0.2;
    }
    // 剩余0.3为基础权重
    weight += 0.3;
    return Math.min(weight, 1.0);
}

内容的提问来源于stack exchange，提问作者정재훈