GPT3微调模型返回额外问答内容的问题解决求助

核心原因 #

微调后的模型学习到了你数据集中的问答序列格式，即使temperature=0，它也会延续这种格式生成额外的问答内容，本质是模型没明确识别到当前回答的结束边界。

具体修复步骤 #

1. 设置明确的停止序列（stop参数）

这是解决额外输出最有效的方法。你需要根据微调数据集的格式，定义模型输出的停止标记，让模型在生成完当前回答后立刻停止。

比如你的数据集格式是：

Q: 问题内容
A: 回答内容

Q: 下一个问题
A: 下一个回答

就可以将stop参数设置为["\nQ:", "\n\n"]，当模型检测到新问题的开头或者空行时，自动停止输出。

2. 对齐输入prompt与微调数据集格式

确保用户输入的prompt和你微调时使用的问题格式完全一致。比如微调时问题都是以Q: 开头，回答以A: 开头，那就要把用户输入的内容拼接成相同格式，让模型准确识别这是一个独立问题，而非连续问答的一部分。

3. 优化微调数据集格式一致性

如果数据集格式不统一（比如有的问答对用问题：，有的用Q:），模型会混淆边界。统一所有问答对的格式，比如固定用Q: +问题、A: +回答，并用固定分隔符（如---）分隔不同问答对，能大幅减少模型的误输出。

修改后的代码示例 #

import openai

openai.api_key = "MY_API_KEY"

def respond(prompt):
    # 对齐微调数据集的问题格式，这里假设微调时用的是Q: + 问题，A: 引导回答
    formatted_prompt = f"Q: {prompt}\nA:"
    completions = openai.Completion.create(
        engine="MY_FINED_TUNED_MODEL",
        prompt=formatted_prompt,
        max_tokens=50,
        n=1,
        # 根据你的数据集格式调整停止序列，示例中用换行+Q: 或者换行+---作为停止标记
        stop=["\nQ:", "\n---"],
        temperature=0,
    )
    # 去除输出前后的空白字符
    message = completions.choices[0].text.strip()
    return message

while True:
    prompt = input("Enter your question: ")
    if prompt.lower() == "end":
        break
    response = respond(prompt)
    print(response)

注意事项 #

• 务必根据你实际的微调数据集格式调整stop参数和prompt格式，比如如果你的回答结束后用###标记，就把"###"加入stop列表。
• 可以多测试几种stop组合，找到最适合的停止标记，确保模型不会输出超出当前回答的内容。

内容的提问来源于stack exchange，提问作者Archie