PyTorch图神经网络训练中损失值停滞不变的问题解决咨询

从代码细节到训练流程逐一排查，以下是具体的修复与优化方案：

1. 修复模型类的初始化致命错误 #

你的模型存在两个初始化问题，直接导致参数无法正确加载，是训练停滞的核心原因：

• 初始化函数名错误：_init_需改为双下划线的__init__
• 父类调用不匹配：类定义为mdl，但super里写的是GCNClassifier，需统一类名

修正后的模型代码：

class mdl(torch.nn.Module):
    def __init__(self, input_size, hidden_size, output_size, dropout_rate):
        super(mdl, self).__init__()
        self.conv1 = GCNConv(input_size, hidden_size)
        self.conv2 = GCNConv(hidden_size, output_size)
        self.dropout = torch.nn.Dropout(dropout_rate)

    def forward(self, x, edge_index):
        x = self.conv1(x, edge_index)
        x = F.relu(x)
        x = self.dropout(x)
        x = self.conv2(x, edge_index)
        x = torch.mean(x, dim=0, keepdim=True)
        return x

2. 修正训练循环的梯度更新逻辑 #

当前训练循环的梯度操作顺序完全错误，且仅打印最后一个样本的损失，无法反映真实训练状态：

• 正确顺序：先清空梯度→前向传播→计算损失→反向传播→更新参数
• 累加所有样本损失，计算epoch平均损失，才能准确观察训练趋势

修正后的训练循环：

num_epochs = 100
for epoch in range(num_epochs):
    model.train()
    total_loss = 0.0  # 累加整个epoch的损失

    for i in range(len(graphVec)):
        optimizer.zero_grad()  # 先清空梯度，避免残留
        output = model(graphVec[i], edge_index)
        loss = criterion(output, y_train[i])
        total_loss += loss.item()
        loss.backward()
        optimizer.step()

    scheduler.step()
    avg_loss = total_loss / len(graphVec)  # 计算平均损失
    current_lr = optimizer.param_groups[0]['lr']
    print(f'Epoch [{epoch + 1}/{num_epochs}], Avg Loss: {avg_loss:.4f}, Learning Rate: {current_lr}')

3. 匹配二分类任务的输出与损失函数 #

• 输出维度检查：二分类任务中y_train是[800,1]，所以模型的output_size必须设为1，否则维度不匹配会导致损失计算异常
• 损失函数选择：
  • 若用BCELoss，需在模型forward最后添加sigmoid激活：x = torch.sigmoid(x)
  • 推荐用BCEWithLogitsLoss，无需手动加sigmoid，数值稳定性更强，初始化示例：

    criterion = torch.nn.BCEWithLogitsLoss()
    

4. 优化模型与训练策略 #

• 调整模型容量：若模型过简单，可增大hidden_size，或新增一层GCN卷积；同时降低dropout率（比如从0.5调至0.3），避免过度正则化
• 批量训练：当前单样本训练梯度噪声大，可使用PyTorch Geometric的Batch类将多个图打包成批量输入，提升训练稳定性与效率
• 参数初始化：手动初始化GCN层权重，避免初始值导致的训练停滞，示例：

  def __init__(self, input_size, hidden_size, output_size, dropout_rate):
      super(mdl, self).__init__()
      self.conv1 = GCNConv(input_size, hidden_size)
      self.conv2 = GCNConv(hidden_size, output_size)
      self.dropout = torch.nn.Dropout(dropout_rate)
      # Xavier初始化权重
      torch.nn.init.xavier_uniform_(self.conv1.lin.weight)
      torch.nn.init.xavier_uniform_(self.conv2.lin.weight)
  

• 数据预处理检查：确认节点向量是否做了归一化/标准化；若标签不平衡，给损失函数添加权重：BCEWithLogitsLoss(pos_weight=torch.tensor([正样本权重]))

5. 验证训练流程正确性 #

• 先拿10个样本做过拟合测试，若模型能在小样本上收敛，说明问题出在数据或训练策略；若仍不收敛，需再检查模型结构
• 手动打印参数梯度，确认反向传播后梯度不为零，若梯度全为零，说明模型存在结构缺陷

内容的提问来源于stack exchange，提问作者encoded150