填充行（伪输入）是否影响反向传播？均值计算相关技术疑问

你的思路完全正确，模型不会基于这些固定为0的填充行更新权重，具体原因如下：

• 填充行被设成固定值0，反向传播计算梯度时，根据链式法则，固定常数的导数为0，所以填充行对应的梯度会直接变为0，不会对模型权重的更新产生任何影响。
• 你用torch.sum(..)/(number_of_non_padded_rows)计算均值的方式，本质上只让有效行的输出参与到损失计算中——填充行的0值在求和时不改变结果，再加上它们是固定死的数值，反向传播时梯度根本传不到模型权重上。

另外给你个小建议：可以试试用**掩码（mask）**来处理，逻辑会更清晰。比如创建一个和输入同形状的布尔掩码，标记哪些是有效行，然后用torch.sum(input * mask, dim=1) / torch.sum(mask, dim=1)来计算均值。这种方式不用修改输入值，逻辑一目了然，但你现在的方法在梯度更新这块是完全没问题的。

内容的提问来源于stack exchange，提问作者jupyter