TensorFlow中模型参数获取与重赋值耗时递增原因咨询

首先直接给结论：不是符号变量累积旧值导致的。TensorFlow的tf.Variable本身只会存储当前的参数值，每次tf.assign操作只是更新它的当前状态，旧值不会被保留在变量或计算图中，所以变量本身不会导致耗时递增。

真正的问题出在你代码的计算图构建逻辑上，核心原因是：

每次调用minimize_step函数，尤其是在内部的while循环迭代中，你反复调用tf.assign(params[i], ...)——这会不断向默认计算图中添加新的Assign操作节点。

随着你循环调用这个函数的次数增多，计算图会变得越来越庞大，TensorFlow在执行s.run时需要处理的节点数量持续增加，自然每次调用的耗时就会逐渐变长。

除此之外，代码里还有几个加剧效率问题的细节：

• 循环调用s.run获取参数和梯度：你用[s.run(param) for param in params]逐个获取参数值，其实可以改成一次s.run(params)批量获取，大幅减少会话调用的开销；梯度获取同理，s.run(grads, feed_dict=feed_dict)即可一次性拿到所有梯度值。
• 循环执行单个Assign操作：每次更新参数时，你逐个调用s.run(tf.assign(...))，可以把所有赋值操作打包成一个列表，一次s.run完成所有赋值，比如：

  assign_ops = [tf.assign(p, val) for p, val in zip(params, new_vals)]
  s.run(assign_ops)
  

解决建议 #

1. 避免动态创建计算图节点：提前在函数外部或初始化阶段构建好需要的Assign操作节点，不要在每次函数调用或循环迭代中动态生成新节点。如果使用TensorFlow 1.x，也可以用tf.control_dependencies预先构建好更新操作的子图。
2. 批量执行会话调用：尽量减少s.run的调用次数，把多个操作打包后一次性执行，降低会话交互的开销。
3. 可选：使用图上下文隔离：如果必须动态创建操作，可以在函数内部使用tf.Graph().as_default()创建临时图，避免污染默认图导致膨胀，但这种方式需要注意会话与图的绑定关系。

总结来说，你的耗时递增问题根源是计算图的动态膨胀，而非参数变量累积旧值。

内容的提问来源于stack exchange，提问作者Roman