Adapter Tuning与Prefix Tuning的区别及Prompt Tuning等相关技术咨询

一、Adapter Tuning 与 Prefix Tuning 的核心区别 #

• 模型修改逻辑：
  Adapter Tuning 是在预训练模型的 Transformer 层之间插入小型适配器模块（如轻量 MLP），原模型权重完全冻结，仅训练新增的小模块；Prefix Tuning 则是在输入序列前添加可训练的前缀向量，同时在 Transformer 各层的 Key/Value 矩阵前也注入对应的前缀参数，原模型权重不动，仅优化这些前缀向量。
• 参数规模与分布：
  Adapter Tuning 的新增参数分散在各层，总参数量略高于 Prefix Tuning，但两者都远低于全量微调；Prefix Tuning 的参数集中在序列前缀和层内前缀，更贴近 prompt 引导的思路。
• 适用场景：
  Adapter Tuning 适合多任务切换场景，不同任务可挂载独立适配器，无需改动模型主体；Prefix Tuning 更适配文本生成类任务，能在少样本下更稳定地引导模型输出任务相关内容。

二、少样本场景下三种微调技术的定义 #

1. Adapter Tuning（适配器微调） #

在少样本数据下，仅在预训练模型的关键 Transformer 层插入轻量适配器模块，用少量样本训练这些模块，原模型权重完全冻结。优势是参数少、训练速度快，能保留模型的通用能力，适合资源有限的场景。

2. Prompt Tuning（提示微调） #

冻结整个预训练模型，仅训练可学习的连续提示向量（区别于人工编写的离散文本 prompt），将这些向量拼接在输入序列前，用少样本数据优化向量参数，让模型适配目标任务。本质是用可训练的 prompt 替代人工设计的固定 prompt，少样本下效果通常优于人工 prompt。

3. Prefix Tuning（前缀微调） #

与 Prompt Tuning 思路类似，但可训练的前缀向量不仅加在输入序列前，还会注入到 Transformer 每一层的 Key/Value 矩阵中，相当于在模型的每一层都加入任务相关引导信息。更适合长文本生成类少样本任务，参数略多于 Prompt Tuning，但生成稳定性更强。

三、Prompt Tuning 能否用于 GPT-3/Codex？如何操作？ #

OpenAI 官方 API 提供的 GPT-3/Codex 属于黑箱模型，不支持直接训练可学习的连续提示向量——因为用户无法访问模型权重或插入可训练参数，仅能通过 API 提交离散文本 prompt。

若要实现类似 Prompt Tuning 的效果，可采用以下替代方案：

• 基于少样本数据生成多组候选离散 prompt，通过贝叶斯优化、遗传算法等方法自动筛选最优的 prompt 模板（包括指令表述、示例顺序、格式等）。
• 采用「prompt 集成」策略，将多个有效 prompt 的输出结果结合，提升任务表现。
• 注意：OpenAI 仅对部分 GPT-3 模型开放了 Fine-tuning API，这属于传统权重微调，并非 Prompt Tuning；且 Codex 目前未开放官方微调接口。

四、微调技术与 In-Context Example（上下文示例）的区别 #

• 核心逻辑：
  In-Context Example 是将少量任务样本直接拼接在输入 prompt 中，模型完全依赖预训练能力理解示例并完成任务，无需任何参数更新；而 Adapter/Prompt/Prefix Tuning 都需要用少样本数据更新部分参数（适配器、可训练 prompt/前缀向量），让模型主动适配目标任务。
• 资源需求：
  In-Context Example 无需训练资源，仅需设计 prompt 和示例；三种微调技术均需一定训练资源（即使参数规模小），且需具备模型的部分训练访问权限（黑箱模型仅能使用替代方案）。
• 效果稳定性：
  In-Context Example 的效果受 prompt 设计、示例顺序、数量影响极大，波动明显；微调技术通过参数更新，效果更稳定，少样本下通常优于纯上下文示例方案。
• 黑箱兼容性：
  In-Context Example 完全适配黑箱模型（如 GPT-3/Codex API）；Adapter/Prefix Tuning 需访问模型结构与权重，无法用于黑箱模型；Prompt Tuning 本身需要训练可学习向量，黑箱模型仅能通过离散 prompt 优化实现类似效果。

内容的提问来源于stack exchange，提问作者Exploring