如何微调Davinci基础模型以实现类InstructGPT的简化功能？

核心问题 #

我使用GPT-3的text-davinci-003做few-shot提示能得到不错的结果，但实际场景中token消耗过快。目前手里只有约20条数据集，想要扩充训练数据，但无法微调InstructGPT系列模型，仅能微调基础GPT模型。

我当前有两种思路：

• A：获取10倍规模的数据集（暂无可行方案）
• B：微调Davinci使其具备InstructGPT的简化功能

另外我曾尝试把训练轮次从4增加到10，但效果远不及预期，想请教：是否存在第三种方案？以及是否可以通过微调Davinci使其具备InstructGPT的部分功能？我不需要完整能力，只要能适配我的特定场景即可。

常见误解澄清 #

不少人存在误解：认为微调Davinci、ada、babbage等基础GPT-3模型时，是基于text-davinci-003这类新版模型，但GPT的运作逻辑并非如此。OpenAI官方文档已对此作出明确说明：

不要认为命令openai api fine_tunes.create -t "model_prepared.jsonl" -m "davinci"会生成基于text-davinci-003的模型，事实是该命令使用的是基础Davinci模型。

内容的提问来源于stack exchange，提问作者Incognito