Keras(2.4)+TensorFlow(2.3.1)网格搜索下RAM增长是否为内存泄漏？

特征匹配结论 #

你观测到的RAM变化趋势完全符合TensorFlow 2.3.1搭配Keras 2.4在网格搜索反复创建模型、调用model.fit场景下的已知内存泄漏表现。

这类泄漏属于渐进式的小量资源残留：旧版本TensorFlow后端会话会在每次训练、创建新模型时残留少量未释放的静态图资源和张量缓存，单次残留量极低，因此每次你销毁模型实例、触发垃圾回收时，大部分内存会被释放，回落到接近初始基线的水平；但随着训练轮次增加，残留资源不断累积，就会表现为RAM峰值、空闲基线随时间缓慢抬升，和你提供的监控图表现完全一致。

修复建议 #

按优先级尝试以下操作即可大幅缓解甚至完全解决该问题：

• 每次完成一组超参数的训练任务、销毁当前模型之前，优先调用tf.keras.backend.clear_session()，该接口会直接清空TensorFlow后端的所有图缓存、会话残留资源，是这类Keras重复训练场景泄漏的标准修复手段，效果远优于仅调用Python垃圾回收
• 调用完后端会话清空接口后，再手动触发Python垃圾回收进一步释放残留：

  import gc
  gc.collect()
  

• 不要在网格搜索的循环全局作用域中定义@tf.function装饰的函数、或全局tf.Variable变量，避免这类全局绑定的资源无法被正常回收
• 若项目依赖允许，可将TensorFlow升级至2.6及以上版本，官方已修复绝大多数这类重复训练场景下的内存泄漏问题

对应RAM监控图 #

内容的提问来源于stack exchange，提问作者Itamar Katz