关于T5模型预训练目标与去噪流程的技术澄清问询

问题1：编码器输入、解码器输入及标签的构建逻辑是否正确？ #

你的理解存在部分偏差，结合论文原文拆解如下：

• Encoder input 正确：原句中连续的for inviting被替换为唯一sentinel token <X>，单独的last被替换为<Y>，得到Thank you <X> me to your party <Y> week，完全符合“连续损坏片段替换为示例内唯一sentinel token”的规则。
• Decoder labels（真实标签）错误：根据论文说明，输出序列需按「被丢弃片段 + 对应sentinel token」的交替结构组成，最后添加结束标记<Z>。此处两个被丢弃片段分别是for inviting（对应<X>）和last（对应<Y>），因此正确的标签序列应为：for inviting <X> last <Y> <Z>。你给出的标签混淆了被丢弃片段与对应sentinel token的绑定关系。
• Decoder input 错误：T5预训练采用teacher forcing机制，decoder input是标签序列左移一位并在开头添加起始token（通常为<s>）。对应正确标签的话，decoder input应为：<s> for inviting <X> last <Y>。你给出的输入<X> for inviting <Y> last不符合这一逻辑，颠倒了sentinel token与被丢弃片段的出现顺序。

问题2：预测sentinel tokens是否会导致模型混淆？ #

不会。T5的sentinel token设计有明确规则，且预训练阶段的海量数据会让模型自然学习到其特殊作用：

• 每个sentinel token在单一样本内是唯一的，与特定被删除片段一一绑定，模型能清晰区分不同sentinel对应的片段，不会出现“认为单词可出现在token之后”的混淆。
• 预训练数据中，sentinel token在encoder侧是被删除片段的占位符，在decoder侧是对应片段生成完成的标记，这种固定模式会被模型充分学习，形成稳定的映射关系。
• 最终的<Z>作为结束标记，模型会将其识别为“所有被删除片段已生成完毕”的信号，进一步强化任务边界。

内容的提问来源于stack exchange，提问作者Ali Haider Ahmad