Tensorflow Object Detection API训练内存持续上涨致OOM问题求助

结合你的环境（TF1.8-gpu、1080Ti、64G内存）和问题现象，内存持续累积而非稳定，大概率是内存泄漏导致的，可能出在TensorFlow静态图构建、数据输入管道或者Python端资源管理上，下面分点分析并给出解决方案：

一、核心原因分析 #

1. TensorFlow 1.x静态图的节点膨胀 #

TF1.x采用静态图机制，如果你的训练代码（或者SSD pipeline的底层实现）在迭代过程中不断创建新的张量/操作节点，而没有复用已有图结构，会导致计算图越来越大，主机内存持续被占用——这是TF1.x训练内存泄漏最常见的原因之一。比如某些预处理逻辑、损失计算如果不小心写在了训练循环里，每步都添加新节点，内存自然会一直涨。

2. 旧队列输入管道的内存泄漏 #

你当前使用的是TF1.x传统的队列机制（queue_capacity这类配置），这种旧API在部分版本中存在内存泄漏问题：队列的缓冲区可能没有正确释放已处理的数据，或者线程管理导致资源堆积，即使调小队列容量也无法彻底解决。

3. TensorFlow 1.8版本的已知bug #

TF1.8是比较早期的1.x版本，存在一些已被后续版本修复的内存泄漏问题，比如某些检测相关的Op（如SSD的锚点生成、后处理）在重复调用时没有正确释放内存，或者GPU与主机内存的交互存在资源残留。

4. Python端的资源未回收 #

如果有自定义的预处理函数、日志记录逻辑，可能存在Python对象（比如列表、字典）持续累积数据未被垃圾回收的情况，比如每步都把日志数据追加到一个全局列表里，也会导致主机内存上涨。

二、具体排查与解决步骤 #

1. 检查计算图是否在膨胀 #

在训练过程中，每隔一定步骤打印当前图的节点数量：

print(f"Step {step}: Number of graph ops: {len(tf.get_default_graph().get_operations())}")

如果节点数持续增加，说明你的代码在不断向图中添加新节点。解决方法：

• 确保所有模型定义、预处理逻辑都放在训练循环外面，只在循环里执行session.run()调用；
• 必要时使用tf.reset_default_graph()清理旧图，但注意要配合会话的正确关闭。

2. 替换为tf.data输入管道 #

放弃传统的队列API，改用TF1.x的tf.data.Dataset构建输入管道，它的内存管理更稳定，能有效避免旧队列的泄漏问题。比如你的输入配置可以改成类似：

def parse_fn(example_proto):
    # 解析TFRecord的逻辑
    features = tf.parse_single_example(...)
    return image, label

dataset = tf.data.TFRecordDataset(train_tfrecord_path)
dataset = dataset.map(parse_fn, num_parallel_calls=10)
dataset = dataset.batch(10)
dataset = dataset.prefetch(10)
iterator = dataset.make_one_shot_iterator()
next_batch = iterator.get_next()

然后在训练循环里直接调用session.run(next_batch)获取数据。

3. 升级TensorFlow版本（兼容前提下） #

如果业务允许，建议升级到TF1.x的最新稳定版（比如1.15），这个版本修复了大量1.8存在的内存泄漏问题，同时对SSD的支持也更完善。注意升级后可能需要微调pipeline配置，但整体改动不大。

4. 监控并清理Python端资源 #

• 用tracemalloc模块监控Python内存使用，定位是否有对象持续占用内存：

import tracemalloc
tracemalloc.start()

# 训练循环中每隔步骤打印快照
snapshot = tracemalloc.take_snapshot()
top_stats = snapshot.statistics('lineno')
print("[Top 10 memory usage]")
for stat in top_stats[:10]:
    print(stat)

• 检查自定义代码中是否有全局变量持续累积数据（比如日志、中间结果），及时清空或使用局部变量。

5. 调整训练配置的细节 #

虽然你已经调小了batch和队列参数，但可以再尝试：

• 关闭不必要的日志或检查点保存频率（比如不要每步都存检查点）；
• 启用tf.ConfigProto的内存优化选项：

config = tf.ConfigProto()
config.gpu_options.allow_growth = True  # 按需分配GPU内存
config.graph_options.optimizer_options.global_jit_level = tf.OptimizerOptions.ON_1  # 启用XLA优化
sess = tf.Session(config=config)

三、对你疑问的直接回应 #

内存持续累积而非稳定，本质就是内存泄漏——要么是TensorFlow的计算图在不断膨胀（存储了越来越多的操作节点），要么是数据管道/Python端的资源没有被正确回收，系统除了模型权重外，还在存储不断新增的图节点、未释放的数据缓冲区或Python对象。

内容的提问来源于stack exchange，提问作者Kai