使用tf.GradientTape(persistent=True)后是否需要调用__exit__释放资源？

关于tf.GradientTape(persistent=True)资源释放的解答 #

不需要主动调用__exit__方法释放资源，相关逻辑和注意点如下：

• 如果你是用Python上下文管理器的写法（也就是with tf.GradientTape(persistent=True) as tape:的形式）包裹所有梯度计算逻辑，当代码执行完with代码块的内容后，Python会自动触发上下文管理器的__exit__方法，梯度缓存占用的资源会被自动回收，完全不需要你手动调用该方法。
• 如果你没有用with语法，是直接实例化梯度带对象使用（tape = tf.GradientTape(persistent=True)），那在train_step末尾所有梯度计算都完成后，你可以通过del tape手动销毁实例释放资源，这种写法比直接调用__exit__更符合Python的常规使用习惯。
• persistent=True的设计作用本来就是支持多次调用gradient()方法，只要所有梯度计算逻辑执行完毕，不管是自动退出with块还是手动销毁实例，剩余的梯度缓存都会被完全清理，不会出现内存泄漏问题。

内容的提问来源于stack exchange，提问作者anut