TensorFlow训练完成后如何正确清除全部网络结构并释放内存

根本原因 #

tf.compat.v1.reset_default_graph()和tf.keras.backend.clear_session()的作用是清理TensorFlow后端维护的全局计算图、会话缓存、Keras全局状态（如层自动命名计数器），以及释放无引用的后端张量，不会主动删除你已经在Python作用域内声明的model实例，也不会修改该实例持有的权重属性。
你在调用清空接口后仍然访问原有model变量，自然会打印出之前训练得到的权重，这是正常表现，不是接口失效。

正确操作步骤 #

要彻底清空内存、重置状态，按以下顺序操作：

• 第一步：删除所有持有模型/层引用的Python变量
• 第二步：调用Keras全局状态清理接口
• 第三步：可选触发Python垃圾回收，彻底释放无引用对象

修正后的代码片段 #

替换你原有清空部分的代码即可：

# 删除模型的Python侧引用，如有其他指向该模型/层的变量也要一并删除
del model

# 清理Keras全局状态，TF2.x下执行这行即可满足绝大多数场景需求
tf.keras.backend.clear_session()

# 仅兼容TF1.x图模式时需要保留这行，纯TF2.x环境可省略
tf.compat.v1.reset_default_graph()

# 可选：触发Python垃圾回收，加速无引用对象的内存释放
import gc
gc.collect()

验证方法 #

执行上述操作后再尝试访问model变量会抛出NameError，说明实例已被销毁。接下来重新实例化新的模型，得到的会是完全重新初始化的权重，不会复用之前的训练结果，也不会有内存残留。

内容的提问来源于stack exchange，提问作者sergey_208