为何在图神经网络前向传播中对不同层输出求和？

我正在研读HGP-SL的神经网络模型，但尚未完全理解其前向传播过程。为何在代码中会出现x = F.relu(x1) + F.relu(x2) + F.relu(x3)这一操作？线性层lin1的输入似乎是前3层输出的和，而我原本以为神经网络的每一层仅接收前一层的输出，这让我感到十分困惑。

相关前向传播代码如下：

def forward(self, data):
    x, edge_index, batch = data.x, data.edge_index, data.batch
    edge_attr = None

    x = F.relu(self.conv1(x, edge_index, edge_attr))
    x, edge_index, edge_attr, batch = self.pool1(x, edge_index, edge_attr, batch)
    x1 = torch.cat([gmp(x, batch), gap(x, batch)], dim=1)

    x = F.relu(self.conv2(x, edge_index, edge_attr))
    x, edge_index, edge_attr, batch = self.pool2(x, edge_index, edge_attr, batch)
    x2 = torch.cat([gmp(x, batch), gap(x, batch)], dim=1)

    x = F.relu(self.conv3(x, edge_index, edge_attr))
    x3 = torch.cat([gmp(x, batch), gap(x, batch)], dim=1)

    x = F.relu(x1) + F.relu(x2) + F.relu(x3)

    x = F.relu(self.lin1(x))
    x = F.dropout(x, p=self.dropout_ratio, training=self.training)
    x = F.relu(self.lin2(x))
    x = F.dropout(x, p=self.dropout_ratio, training=self.training)
    x = F.log_softmax(self.lin3(x), dim=-1)

return x

这是多尺度特征融合的一种常见实现方式，核心目的是让模型同时利用不同层级的图特征：

• 层级特征的差异：
  conv1+pool1输出的x1对应浅层图特征，捕捉的是图中节点的局部基础结构信息；conv2+pool2输出的x2是中层特征，能表达经过一次池化后更抽象的子图关系；conv3输出的x3是深层特征，对应最浓缩的全局图结构信息。

• 求和融合的优势：
  不同于传统的“逐层传递”，这种求和方式相当于让模型对不同尺度的特征进行元素级加权融合（这里是等权求和，实际训练中权重会通过反向传播隐式调整）；能避免深层特征丢失浅层的关键细节，同时让浅层特征借助深层的抽象信息提升表达能力，尤其适合图分类任务——因为图分类需要同时兼顾局部节点特征和全局结构。

• 和拼接融合的区别：
  如果直接拼接x1、x2、x3，特征维度会翻倍，容易导致模型参数膨胀、过拟合；而求和操作能保持特征维度不变，同时对多尺度特征进行高效整合，这也是图神经网络中常用的轻量融合策略。

简单来说，这种设计是为了让模型“看见”不同层级的图信息，而不是只盯着最后一层的输出，从而提升图分类任务的性能。

内容的提问来源于stack exchange，提问作者asdf