TensorFlow同时占用GPU与CPU内存是否属于正常现象？

这是完全正常的现象，原因主要有以下几点：

• TensorFlow运行时的必要开销：GPU版TensorFlow依赖CPU端的运行时组件（如任务调度器、运算图解析模块等），这些组件本身会占用一定系统RAM，用于协调GPU运算、管理设备间的数据传输。
• 模型加载的流程特性：调用tensorflow.keras.models.load_model时，会先在CPU内存中解析模型结构配置、读取权重文件到临时缓存，之后才将权重数据迁移到GPU显存。这个过程中CPU内存会临时占用与权重匹配的存储空间，部分临时数据不会立即释放。
• 辅助组件与缓存需求：模型可能包含CPU端的预处理层、自定义运算逻辑，或者TensorFlow为优化运算效率，会在CPU内存中缓存运算图元数据、中间表示等内容。
• 显存分配的配套行为：默认情况下TensorFlow会预分配部分GPU显存，但CPU内存的占用是运行时的必要开销，并非内存泄漏。

如果想要优化内存占用，可以尝试这些操作：

• 调用tf.config.experimental.set_memory_growth(gpu, True)开启GPU显存动态增长，避免预分配过多显存。
• 模型加载完成后执行tf.keras.backend.clear_session()，清理CPU端不必要的临时缓存。
• 确保模型文件无冗余自定义层或未使用权重，减少加载阶段的内存开销。

内容的提问来源于stack exchange，提问作者Masoud