图卷积网络训练时TensorFlow梯度、损失值全为NaN问题排查

1. 无效的归一化邻接矩阵赋值 #

你代码中先计算了归一化后的邻接矩阵A_hat并赋值x=A_hat*F，但紧接着又写了x=A*F直接覆盖了之前的计算结果，使用原始未归一化的邻接矩阵计算特征，会导致特征数值范围不可控，容易引发后续运算溢出。

修复方案：删除多余的x=A*F语句，确认使用归一化后的邻接矩阵计算特征。

2. 损失函数梯度流中断 #

原损失函数使用Python循环遍历稀疏矩阵元素累加损失，TensorFlow的自动微分机制无法追踪Python级别的循环操作，梯度流直接中断，无法计算正确的梯度，是出现NaN的核心原因。同时每次调用损失函数都新建tf.Variable存储累加和，也会干扰梯度计算。

修复方案：重构损失函数为纯张量操作，避免Python循环：

def loss_fn(y,A):
    coo = A.tocoo()
    # 转成tf常量用于张量操作
    rows = tf.constant(coo.row, dtype=tf.int32)
    cols = tf.constant(coo.col, dtype=tf.int32)
    edge_weights = tf.constant(coo.data, dtype=tf.float32)
    # 批量取边两端节点的嵌入
    y_i = tf.gather(y, rows)
    y_j = tf.gather(y, cols)
    # 批量计算所有边的节点嵌入距离
    dist = tf.norm(y_i - y_j, axis=1)
    # 加权求和得到总损失
    return tf.reduce_sum(edge_weights * dist)

3. numpy与TensorFlow混合运算类型不匹配 #

你计算得到的x是numpy matrix类型，直接和TensorFlow的w做矩阵乘法，可能出现类型不兼容或者广播异常，导致运算结果出现NaN。

修复方案：在进入训练循环前，把x转换成TensorFlow张量：

x = tf.convert_to_tensor(x, dtype=tf.float32)

4. 学习率过高 #

初始学习率设置为0.3，对于小参数规模的网络来说步长过大，单次参数更新就可能导致参数溢出变成NaN。

修复方案：降低学习率到0.01~0.001区间。

5. 不必要的persistent梯度带 #

你的代码只需要计算一次梯度，不需要开启persistent=True，开启后反而会占用额外内存，也可能带来潜在的梯度计算异常。

修复方案：把with tf.GradientTape(persistent=True) as tape:改成with tf.GradientTape() as tape:

内容的提问来源于stack exchange，提问作者hossein ghorbanzadeh