为何TensorFlow模型内存无法从RAM释放？迭代更新模型种群时内存持续累积

• 仅在Python层面执行列表clear()操作时，不会立刻触发垃圾回收，模型层、张量对象会残留隐式引用，内存无法即时释放
• TensorFlow/Keras维护全局共享计算图会话，旧模型构建产生的图节点、张量资源会被全局会话持有引用，即便Python层面的列表被清空，底层资源也不会被自动回收
• TF默认的计算图缓存机制，会对同结构模型的图构建流程做缓存，不会主动回收上一代模型的资源占用

• 导入Python内置的垃圾回收模块gc，在每一代更新前，先执行self.pop.clear()清空旧模型列表
• 列表清空后手动执行gc.collect()，立刻触发Python端的全量垃圾回收，解除所有无引用模型对象的关联
• 执行tf.keras.backend.clear_session()，重置TensorFlow全局计算图会话，彻底释放底层持有的张量、计算图节点资源
• 完成上述回收操作后，再构建新一代的模型列表

import gc
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, LSTM

class population:
    def __init__(self):
        self.pop = []

    def createModel(self, inputShape):
        model = Sequential([
                LSTM(64, input_shape=inputShape, return_sequences=True),
                LSTM(64, input_shape=inputShape),
                Dense(32, activation="relu"),
                Dense(2, activation="softmax"),
        ])
        return model

    def createList(self, numModels):
        model_list = []
        for _ in range(numModels):
            model = self.createModel((5,5))
            model_list.append(model)
        return model_list

    def updateList(self, iterations):
        for i in range(iterations):
            print(f"Generation: {i+1}")
            # 清空旧种群
            self.pop.clear()
            # 触发Python端垃圾回收
            gc.collect()
            # 清空TF全局会话，释放底层资源
            tf.keras.backend.clear_session()
            # 生成新一代种群
            self.pop = self.createList(50)

pop = population()
pop.updateList(10)

• 执行clear_session()会清除所有全局Keras状态，若需要跨代传递模型权重，需要先将权重导出为独立的numpy数组存储，再执行会话清空操作，避免状态丢失
• GPU环境下，TensorFlow默认会预申请整块可用显存，系统层面观察到的显存占用不会随模型销毁立刻下降，只要不出现逐代线性累积上涨、最终占满显存的情况，就属于正常的TF显存管理机制

内容的提问来源于stack exchange，提问作者Sean Dougherty