PyTorch自定义Transformer模型输出固定索引位置恒为0的问题排查

• 输出层ReLU激活函数的死神经元问题：你当前使用y = F.relu(self.linear4(y))作为输出层，若self.linear4对应固定输出位置的计算结果持续小于0，ReLU会将其映射为0，且一旦该情况发生，对应参数的梯度也会变为0，无法通过训练更新，最终形成固定位置恒为0的现象。该问题在你的场景下触发概率很高，因为当前任务输入是0~1的连续值，和翻译任务的离散嵌入输入分布差异较大，很容易出现线性层输出维度持续为负的情况。
• 输出层线性层参数初始化异常：如果self.linear4对应异常输出位置的权重初始值全为负、偏置初始值为绝对值较大的负数，结合0~1的输入范围，线性层输出会始终为负，经过ReLU后恒为0。
• 位置编码适配问题：该模型在翻译任务上正常，但当前任务的序列长度、位置编码计算逻辑可能存在适配问题，若对应固定位置的位置编码值异常，会导致该位置经过Transformer全层计算后，最终输入到输出线性层的特征始终为负，触发ReLU的零值输出。
• 隐式的损失掩码逻辑：若损失计算环节存在未感知到的掩码逻辑，固定位置的损失没有回传梯度，会导致对应输出维度的参数始终不更新，维持初始的负输出状态，经过ReLU后恒为0。

验证步骤参考：

1. 临时将输出层的ReLU替换为恒等映射或LeakyReLU，观察固定位置的零值是否消失。如果消失即可确认是ReLU死神经元问题。
2. 打印self.linear4的权重、偏置参数，查看异常输出位置对应的参数值是否存在明显的负偏移。
3. 打印Transformer最后一层输出的特征值，查看异常位置的特征输入到输出层之前是否已经持续小于0。

内容的提问来源于stack exchange，提问作者cuuupid