如何使用更多提示词重新训练已微调的OpenAI模型

一、用更多提示词增量训练已微调模型 #

• 准备新增训练数据：按照OpenAI微调要求的JSONL格式，整理好新增的prompt-completion配对数据，格式需与首次微调保持一致（比如prompt结尾添加固定分隔符、completion开头留空格等）。
• 指定基础模型调用微调API：以已有的微调模型作为训练起点，而非原始基础模型，执行以下命令（需替换占位内容）：

  openai api fine_tunes.create \
    -t 新增训练数据.jsonl \
    -m 你的已微调模型ID \
    --suffix "新增提示词增量训练"
  

• 训练完成后，将得到一个保留原有训练知识、同时融合新增提示词模式的优化模型。

二、用新提示词重新微调训练模型 #

• 整理全新训练数据集：若需完全替换原有训练逻辑，准备一套完整的JSONL格式新数据；若为原有逻辑的大幅迭代，可基于原数据补充调整。
• 选择训练起点：
  • 从原始基础模型（如gpt-3.5-turbo-instruct）开始：适合完全重构模型响应逻辑的场景，训练后将覆盖原有微调的影响。
  • 从已微调模型开始：适合新提示词是原有逻辑迭代的场景，可节省训练成本并保留部分原有知识。
• 执行微调命令：

  # 从原始基础模型重新训练
  openai api fine_tunes.create \
    -t 全新训练数据.jsonl \
    -m gpt-3.5-turbo-instruct \
    --suffix "全新提示词重新训练"
  
  # 从已微调模型重新训练
  openai api fine_tunes.create \
    -t 全新训练数据.jsonl \
    -m 你的已微调模型ID \
    --suffix "基于原模型的全新提示词训练"
  

• 训练完成后，新模型将基于新提示词数据集形成对应的响应模式。

内容的提问来源于stack exchange，提问作者Cycl0n3