OpenAI GPT微调是否将Prompt纳入损失函数计算？

• OpenAI微调时不会让模型学习预测Prompt模板，只针对Completion部分优化。
• 你需要用分隔符把Prompt和Completion明确分开，训练过程里Prompt仅作为上下文输入，损失函数只计算Completion部分的交叉熵，模型参数更新也仅基于这部分的误差。
• 这种设计的核心目的是避免模型过拟合到特定的Prompt模板上，让模型专注于学习Prompt到Completion的任务逻辑，而非模板本身。官方给出的准确率指标仅基于Completion计算，也侧面印证了这一处理方式。

内容的提问来源于stack exchange，提问作者arivero