如何确定T5ForConditionalGeneration中decoder_hidden_states的组成含义？

先搞懂decoder_hidden_states的结构 #

• 外层元组：每个元素对应一次解码生成步骤（即生成单个token的过程），元组长度等于实际生成的token步数（和max_output_length、输入长度、是否生成到eos有关）。你看到的10、39、7这类数值，就是对应不同场景下生成的token数量。
• 内层元组：每个元素对应解码器的某一层输出，顺序是从嵌入层输出开始，到最后一层解码器输出结束。比如T5-base有6层解码器，内层元组就有7个张量（嵌入层+6层解码器），所以最后一层的隐藏状态是每个内层元组的最后一个元素（索引-1）。
• 每个张量的维度[2,1,512]：2是批量大小，1是因为自回归解码时用past key values加速，每一步只处理当前新生成的token，所以只返回当前token的状态，512是隐藏层维度。

正确提取并计算均值池化的方法 #

要得到整个生成序列的最后一层解码器隐藏状态，需要把每一步的最后一层状态拼接起来，再结合生成序列的mask计算有效均值（避免pad token干扰）：

# 从generate输出中获取生成的序列
generated_ids = outputs.sequences

# 提取每一步解码的最后一层隐藏状态
# 外层元组的每个元素是一个步骤，取每个步骤的最后一个张量（解码器最后一层）
decoder_last_layer_steps = [step[-1] for step in outputs.decoder_hidden_states]

# 将所有步骤的状态按序列维度拼接，得到完整序列的最后一层隐藏状态
# 形状变为 [batch_size, generated_seq_len, hidden_size]
full_decoder_last_hidden = torch.cat(decoder_last_layer_steps, dim=1)

# 生成有效mask：排除pad token的位置
pad_token_id = self.tokenizer.pad_token_id
mask = (generated_ids != pad_token_id).unsqueeze(-1).to(full_decoder_last_hidden.dtype)

# 计算均值池化：只对有效token位置取平均
mean_pooled_output = (full_decoder_last_hidden * mask).sum(dim=1) / mask.sum(dim=1)

关于元组数量变化的解释 #

你观察到的元组数量随输入长度变化，本质是生成的token步数不同：

• 输入短的时候，模型需要生成更多token才能达到max_output_length或者生成eos，步数多，元组数量就多；
• 输入长的时候，模型很快就能生成eos结束，步数少，元组数量就少；
• 39的上限就是你设置的max_output_length，所以无论输入多短，最多生成39个token，对应39个元组。

内容的提问来源于stack exchange，提问作者devinbost