关于PrefixLM架构、预训练目标及T5图4结构的技术问询

核心问题1：图4右侧结构是什么？是否为Prefix-LM掩码的解码器？ #

• 图4右侧的结构是Prefix LM架构的解码器变体，本质是在标准因果解码器的基础上定制了掩码规则：对输入的前缀部分使用双向全可见掩码（和编码器的掩码逻辑一致），目标生成部分则保留因果掩码（只能看到之前生成的token）。它不属于Transformer传统的三类基础结构，是解码器的一种特殊变体。

核心问题2：仅涉及掩码使用，为何称其为结构并与PrefixLM预训练目标区分？ #

• 被称为“结构”的原因：虽然核心是掩码模式的调整，但这种规则已经改变了模型的注意力计算逻辑——前缀段的双向注意力让模型能像编码器一样完整理解输入上下文，生成段的因果注意力保持自回归生成能力，整体形成了固定的“前缀理解+自回归生成”计算范式，而非单纯的训练目标调整，因此被视为一种架构变体。
• 与PrefixLM预训练目标区分的原因：PrefixLM预训练目标是针对这类架构设计的具体训练任务（比如组合前缀部分的掩码预测、生成部分的自回归预测），而图4的右侧结构是承载该目标的架构载体——架构是模型的计算逻辑框架，预训练目标是在框架上执行的训练任务，二者是载体与任务的关系，必须明确区分。

补充（结合UL2论文内容） #

UL2论文第13页提到的"PrefixLM-type架构"正是对应图4的这种结构，它在仅解码器场景下兼顾了双向上下文理解和自回归生成能力，实验效果优于全因果解码器，本质是通过定制掩码规则，让解码器同时具备编码器的部分特性。

内容的提问来源于stack exchange，提问作者Arij Al adel