无法微调GPT-3.5/GPT-4时，如何定制模型回答？

针对GPT-3.5和GPT-4暂不支持微调的现状，可通过以下几种成熟方案结合自有数据实现定制化回答：

1. 上下文注入（Prompt Engineering） #

直接将与用户问题匹配的自有数据片段嵌入到prompt中，引导模型基于指定信息生成回答。

• 核心思路：检索自有知识库中与当前问题最相关的内容，将其作为背景信息前置到prompt里，明确要求模型仅基于该信息作答。
• 示例prompt：

  基于以下专属信息回答问题：
  [自有数据片段，例如产品参数、内部文档摘要等]
  问题：[用户的具体问题]
  

• 注意事项：需控制注入内容的token数量，避免超出模型上下文窗口上限，可通过关键信息提取或内容摘要压缩数据体积。

2. 检索增强生成（RAG） #

这是当前企业落地定制化问答的主流方案，通过向量检索+大模型生成的组合实现：

• 步骤：
  • 将自有数据预处理为向量（使用OpenAI Embeddings或其他开源向量模型），存储到向量数据库（如FAISS、Pinecone）；
  • 用户提问时，先将问题转为向量，在数据库中检索语义最匹配的Top N条数据；
  • 将检索到的数据作为上下文注入prompt，调用GPT-3.5/GPT-4生成回答。
• 优势：支持大规模知识库，无需将全量数据塞进prompt，同时能保证回答的准确性和时效性。

3. 少量示例引导（Few-shot Learning） #

利用自有数据构造少量问答示例，让模型快速学习定制化的回答风格、内容范围或逻辑：

• 示例prompt：

  参考以下示例的回答方式，基于我们的业务规则作答：
  示例1：
  问题：[内部常见问题1]
  回答：[基于自有数据的标准回答1]
  示例2：
  问题：[内部常见问题2]
  回答：[基于自有数据的标准回答2]
  当前问题：[用户的具体问题]
  

• 若自有数据足够清晰，也可使用Zero-shot方式，通过明确指令定义回答要求，比如：请严格按照我司客户服务手册的内容回答，不得使用手册外的信息：[用户问题]

4. 后处理校验修正 #

对模型生成的回答进行二次校验，确保符合自有数据的规范：

• 方法：用自有数据构建关键词库或事实规则，通过规则引擎或轻量模型对生成内容进行比对，修正不符合要求的表述，补充遗漏的关键信息。
• 适用场景：对回答准确性要求极高的场景（如医疗、金融合规类问答）。

内容的提问来源于stack exchange，提问作者Lucien