Azure OpenAI On Your Data系统消息失效及指令传递策略咨询

一、System Message未生效的处理方案 #

• 正确用法：Azure OpenAI On Your Data的扩展聊天补全API中，全局指令（如固定语言回复要求）需通过dataSources下的roleInformation参数设置，而非messages数组中的system消息。该API的prompt构造逻辑会优先采用roleInformation生成模型的系统提示，messages里的system字段当前实现中无法被正确纳入最终传给模型的prompt。
• 已知问题：早期版本确实存在system消息不生效的情况，目前官方推荐统一通过roleInformation传递全局指令，避免两处重复设置导致冲突。
• 修正示例：移除messages中的system消息，仅在dataSources.roleInformation中配置"始终用法语回复用户问题"。

二、避免指令混入搜索查询的方法 #

要传递格式、摘要类指令且不影响搜索精准性，可通过以下两种方式实现：

1. 通过roleInformation设置回复指令
   将格式、摘要要求（如"用3句话以内总结内容"）放在roleInformation中，这部分指令仅用于指导模型生成回复，不会被纳入Azure Cognitive Search的搜索查询文本。
2. 自定义promptTemplate分离指令与查询
   在API调用的dataSources中配置promptTemplate，明确区分系统指令、上下文和用户问题：

   "promptTemplate": "你需要用法语回复，且回复不超过3句话。仅使用下方上下文回答用户问题：{context} 用户问题：{question}"
   

   此时Azure Cognitive Search仅会使用{question}对应的用户原始问题执行搜索，指令部分不会进入查询逻辑。

内容的提问来源于stack exchange，提问作者Alex