如何设计LLM程序使其按预设模式作答？Prompt优化失效问题咨询

针对产品推广、用户信息收集这类需要固定输出模式的场景，可从以下几个维度调整LLM程序，解决用户偏离对话模式的问题：

1. 强化Prompt的约束性与引导预案 #

普通Prompt仅明确任务目标，需补充偏离处理规则和具体操作示例，让LLM明确知道用户偏离时该怎么做：

• 明确角色与边界：比如设定「你是用户信息专员，核心任务是收集用户的行业、预算、核心需求3项信息，任何无关话题都要礼貌拉回，不得展开讨论」
• 加入偏离处理指令：在Prompt末尾补充「如果用户未回应你的问题或谈论无关内容，请直接说：‘不好意思，为了更好地帮到你，麻烦先告诉我[需要的信息项]哦’，并重述当前待收集的信息」
• 附Few-Shot示例：给LLM提供2-3组符合要求的对话样本，比如：

  用户：你们公司在哪里？
  AI：不好意思，为了更好地给你推荐产品，麻烦先告诉我你的行业哦？
  用户：我是制造业的，你们产品贵吗？
  AI：感谢你的信息，还需要了解你的预算范围哦？

2. 加入对话流程的硬管控逻辑 #

仅靠Prompt无法完全避免LLM失控，需在LLM调用前/后加入规则判断的代码逻辑：

• 输入侧判断：解析用户输入，检查是否包含当前需要收集的信息项（比如用关键词匹配、实体识别工具），如果未包含，直接返回预设的引导话术，无需调用LLM
• 输出侧校验：对LLM的输出进行检查，如果偏离预设模式（比如未询问待收集信息、聊了无关内容），则触发修正逻辑，重新生成或直接替换为合规话术

示例伪代码：

def check_user_input(user_input, required_info):
    # 检查用户输入是否包含所需信息
    for info in required_info:
        if info not in user_input:
            return False, f"不好意思，为了更好地帮到你，麻烦先告诉我{info}哦？"
    return True, ""

# 调用前判断
is_valid, prompt = check_user_input(user_msg, ["行业", "预算"])
if not is_valid:
    send_response(prompt)
else:
    # 调用LLM生成回答
    llm_response = call_llm(user_msg)
    send_response(llm_response)

3. 基于特定场景微调LLM #

如果Prompt和规则逻辑仍无法满足需求，可通过微调让LLM从底层适配输出模式：

• 准备1000+符合预设模式的对话样本，包含用户偏离场景的处理案例
• 用这些样本对基础LLM进行微调，让模型学习到固定的对话流程和偏离处理方式
• 微调后的模型在应对用户偏离时，会更稳定地按照预设模式回应，无需每次都依赖复杂Prompt

4. 限制LLM的输出范围 #

通过参数设置限制LLM的输出：

• 设置max_tokens控制输出长度，避免LLM展开无关讨论
• 开启stop_words，将无关话题的关键词设为停止词，让LLM在触发时停止输出，转而执行引导逻辑

内容的提问来源于stack exchange，提问作者Leo