Tensorflow Adagrad优化器运行异常及相关报错问题求助

我来帮你逐个排查这些TensorFlow模型的问题，每个问题的根源和修复方案都整理好了：

1. 首次运行的NaN与Reduction Operation Error #

问题根源 #

• 你的potential函数生成的目标值异常庞大：当采样点靠近[0,0]或[10,10]时，(x-5)² + (y-5)²等于25，exp(25)约为7.2×10¹⁰，这个数值远超神经网络初始阶段的拟合能力。
• 输出层使用ReLU激活：ReLU会将小于0的输出截断为0，初始参数下模型输出很难接近目标值的量级，导致平方损失直接爆炸，参数更新时出现NaN。
• 后续Seaborn热力图接收了全NaN的数组，触发了zero-size array错误（NaN数组的统计操作会出现异常）。

修复方案 #

• 缩放目标值：将目标值压缩到[0,1]的合理范围，避免数值爆炸：

  def potential(N):
      points = np.random.rand(N,2)*10
      dist_sq = (points[:,0]-5.0)**2 + (points[:,1]-5.0)**2
      values = np.exp(dist_sq) / np.exp(25)  # 除以最大可能值，缩放至0-1区间
      return points, values
  

• 替换输出层的ReLU为线性激活：ReLU不适合作为回归任务的输出层激活，改用线性激活避免输出被截断：

  return tf.add(tf.matmul(h2, w_o), bias_3)  # 移除tf.nn.relu
  

• 调整优化器与学习率：Adagrad的0.0001学习率太小，面对大损失时更新效率极低，建议换成Adam优化器并调高学习率：

  opt = tf.train.AdamOptimizer(0.01)  # 更稳定的优化器+合适的学习率
  

2. 二次运行的Variable Already Exists Error #

问题根源 #

TensorFlow默认会复用当前的计算图，第一次运行后，Adagrad优化器创建的动量变量（如model/w_h/Adagrad/）仍保留在图中，第二次运行时尝试创建同名变量就会触发冲突。

修复方案 #

• 在代码开头添加重置默认图的操作，确保每次运行都是全新的计算图：

  tf.reset_default_graph()  # 放在import语句之后，模型定义之前
  

• 或者将整个模型与会话代码包裹在新图的上下文中：

  with tf.Graph().as_default():
      X = tf.placeholder(tf.float32, [None, 2])
      with tf.Session() as sess:
          # 原模型、训练、可视化代码...
  

3. 批量大小为10时的恒0输出坍缩 #

问题根源 #

• 小批量数据的梯度噪声极大，加上ReLU的死亡ReLU问题：如果初始参数导致输出层的ReLU输入始终为负，输出会一直是0，此时梯度为0，参数停止更新，模型彻底坍缩。
• 输出层的ReLU进一步放大了这个问题：小批量下更容易出现所有样本的模型输出远低于真实值，导致ReLU持续输出0。

修复方案 #

• 移除输出层的ReLU：改用线性激活，避免输出被截断（同第一个问题的修复）。
• 使用Leaky ReLU替代隐藏层的ReLU：解决死亡ReLU问题，让负输入也能产生梯度：

  h = tf.nn.leaky_relu(tf.add(tf.matmul(X, w_h), bias_1))
  h2 = tf.nn.leaky_relu(tf.add(tf.matmul(h, w_h2), bias_2))
  

• 改用He初始化：He初始化更适合ReLU类激活函数，能降低初始输出全为0的概率：

  def init_weights(shape, var_name):
      init = tf.initializers.he_normal()  # 替换Xavier初始化
      return tf.get_variable(initializer=init, name=var_name, shape=shape)
  

内容的提问来源于stack exchange，提问作者Aidan Rocke