PyTorch GCN层前向传播输出不符合预期的原因咨询

问题描述 #

给定包含3个节点（0、1、2）的图，边集为{(0,1), (1,2)}，节点输入特征分别为[10.0, 20.0, 30.0]（1维）。使用PyTorch Geometric的GCNConv编写前向传播脚本后，预期输出为节点0:15.0、节点1:20.0、节点2:25.0，但实际输出为节点0:10.0、节点1:17.0711、节点2:25.0。

脚本代码如下：

import torch
from torch_geometric.nn import GCNConv

x = torch.tensor([[10.0], [20.0], [30.0]], dtype=torch.float)
edge_index = torch.tensor([[0,1], [1,2]], dtype=torch.long)

new_lin_weight_values = torch.tensor([[1.0]])
new_lin_bias_values = torch.tensor([[0.0]])

conv_layer = GCNConv(in_channels=1, out_channels=1)

# 直接设置权重和偏置参数
conv_layer.lin.weight = torch.nn.Parameter(new_lin_weight_values)
conv_layer.lin.bias = torch.nn.Parameter(new_lin_bias_values)

# 冻结参数以禁用学习
conv_layer.lin.weight.requires_grad = False
conv_layer.lin.bias.requires_grad = False

output = conv_layer.forward(x, edge_index)

print("Input Features:")
print(x)
print("Output Features:")
print(output)

原因分析 #

实际结果与预期不符的核心原因是GCNConv的默认行为及输入边的方向性：

1. 边的方向性：输入的edge_index定义的是有向边（0→1、1→2）。GCN聚合时默认只考虑入边的源节点作为邻居，因此节点0没有除自环外的入边邻居，节点1的入边邻居是0，节点2的入边邻居是1。
2. 默认添加自环：GCNConv的add_self_loops参数默认值为True，会给每个节点添加自环边（u→u），确保聚合包含自身特征。
3. 默认对称归一化：GCNConv的normalize参数默认值为True，会对邻接矩阵做对称归一化处理，每条边u→v的权重被缩放为$1/\sqrt{\hat{D}_u \cdot \hat{D}_v}$，其中$\hat{D}_u$是节点u的入度（包含自环）。

结合这三点，实际计算过程如下：

• 节点0的入边只有自环，归一化权重为$1/\sqrt{1 \cdot 1}=1$，输出为$1 \times 10.0 = 10.0$
• 节点1的入边为0→1和自环，权重分别为$1/\sqrt{1 \cdot 2}≈0.7071$和$1/\sqrt{2 \cdot 2}=0.5$，输出为$0.7071×10.0 + 0.5×20.0≈17.0711$
• 节点2的入边为1→2和自环，权重均为$1/\sqrt{2 \cdot 2}=0.5$，输出为$0.5×20.0 + 0.5×30.0=25.0$

解决方案 #

要实现预期的平均聚合结果，需要调整GCNConv参数并修正边的方向性：

修改后的代码 #

import torch
from torch_geometric.nn import GCNConv
from torch_geometric.utils import add_self_loops, degree

x = torch.tensor([[10.0], [20.0], [30.0]], dtype=torch.float)
# 构建无向边：包含双向连接(0,1),(1,0),(1,2),(2,1)
edge_index = torch.tensor([[0, 1, 1, 2], [1, 0, 2, 1]], dtype=torch.long)

# 手动添加自环，确保聚合包含自身特征
edge_index, _ = add_self_loops(edge_index)

# 计算每个节点的度（包含自环）
node_degrees = degree(edge_index[1], num_nodes=x.size(0), dtype=x.dtype)

# 初始化GCN层：关闭自动添加自环、关闭默认归一化
conv_layer = GCNConv(in_channels=1, out_channels=1, add_self_loops=False, normalize=False)

# 设置权重和偏置并冻结
conv_layer.lin.weight = torch.nn.Parameter(torch.tensor([[1.0]]))
conv_layer.lin.bias = torch.nn.Parameter(torch.tensor([[0.0]]))
conv_layer.lin.weight.requires_grad = False
conv_layer.lin.bias.requires_grad = False

# 前向传播得到聚合求和结果
output_sum = conv_layer(x, edge_index)
# 除以度得到平均值
output = output_sum / node_degrees.view(-1, 1)

print("Input Features:")
print(x)
print("Output Features:")
print(output)

代码说明 #

1. 无向边构建：补充反向边，确保每个节点的邻居包含双向连接；
2. 手动添加自环：让每个节点的聚合逻辑包含自身特征；
3. 关闭默认归一化：避免GCNConv自动做对称归一化，改为手动对聚合结果除以节点的度，得到平均值。

运行后输出将符合预期：

Input Features:
tensor([[10.],
        [20.],
        [30.]])
Output Features:
tensor([[15.],
        [20.],
        [25.]])

总结 #

GCNConv的默认行为（添加自环、对称归一化）以及边的方向性是导致结果偏差的关键。若需要自定义聚合逻辑（如简单平均），需调整层参数并手动处理归一化步骤。

内容的提问来源于stack exchange，提问作者smoks