如何部署预加载固定指令集的LLM以避免重复传输指令令牌？

我完全懂你的困扰——每次调用都要带5000token的固定指令，不仅token成本蹭蹭涨，还拖慢请求速度，而且你既不想微调模型，还要保证每个用户的请求完全独立，不会互相干扰上下文。结合你用Azure AI Foundry的场景，给你几个实用的解决方案：

1. 预设系统提示词（最直接的方案） #

绝大多数LLM部署平台（包括Azure的相关服务）都支持把固定的指令集预配置为模型的系统提示词（System Prompt）。这样一来，每次调用模型时，你只需要传用户待处理的文本就行，预设的指令已经“内置”在模型的处理逻辑里，而且每个请求都是完全独立的，不会和其他用户的请求串上下文。

具体操作上，你可以在Azure AI Foundry的模型部署配置界面里，找到系统提示词的设置项，把你用Kor生成的完整指令（schema+示例）粘贴进去保存。之后调用模型时，只需要发送用户的输入文本作为用户消息，模型会自动加载预设的系统提示词来执行信息提取任务。

注意要提前确认模型的上下文窗口上限，确保预设指令+用户输入的总token数不超过限制，避免触发截断或报错。

2. 用函数调用封装固定提取逻辑 #

既然你的任务是结构化信息提取，完全可以把Kor生成的对象schema转换成LLM的函数调用定义，然后把这个函数预配置到模型部署中。

比如，把你的提取规则转换成符合OpenAI函数规范的JSON结构（包含函数名称、功能描述、参数的schema定义），然后在Azure的模型部署里添加这个函数作为默认可用的工具。之后每次调用时，你只需要发送类似“请使用预先定义的提取函数处理以下文本：[用户输入]”的简单指令+用户文本，模型会根据预配置的函数schema来生成符合要求的结构化输出。

这种方式的好处是，函数定义的token消耗远低于自然语言的指令+示例，而且模型对结构化函数的遵循度通常更高，还能避免每次重复传输大段指令。

3. 自定义预处理中间层（灵活度最高） #

如果Azure的原生配置满足不了你的需求，你可以自己搭建一个轻量级的中间层服务。这个服务的核心逻辑就是：把你预先保存的固定指令集存在本地或缓存里，每次收到用户的请求时，自动把固定指令和用户输入拼接成完整的prompt，再转发给Azure部署的LLM。

虽然本质上还是会传输指令token，但这个中间层可以帮你做一些优化——比如对指令进行压缩（比如用更简洁的表述重写，或者利用token优化工具减少冗余），或者把指令缓存到靠近LLM的节点，减少传输延迟。而且用户端只需要传输入文本，完全感知不到指令的存在。

避坑提醒：别复用会话 #

你提到的复用会话的思路确实要谨慎——复用会话会导致上下文里堆积之前的请求内容，不仅会快速耗尽token配额，还可能让模型混淆不同请求的任务要求，输出错误的结果。每个请求独立处理才是结构化提取场景的正确打开方式。

备注：内容来源于stack exchange，提问作者Nicinic