TensorFlow多图在同一GPU并行推理问题咨询

我来帮你拆解这个问题：你在不同线程里创建了两个独立的tf.Graph()对象，并且都加载了同一个冻结模型，从对象地址能确认这俩图是完全分开的。但当你尝试在同一GPU上让它们并行跑推理时，实际运行起来却更像串行流水线——结合你提到的单个图占7GB GPU内存、算力利用率仅15%的基础数据，咱们从这几个核心角度分析：

1. TensorFlow默认显存抢占是首要嫌疑 #

TensorFlow默认会独占当前GPU的全部可用显存，哪怕你的模型只需要7GB。这就导致第二个图根本拿不到足够的显存资源，只能等第一个图释放部分显存后才能启动，直接表现出串行的效果。你可以试试开启内存增长模式来验证：

# 让TensorFlow按需分配显存，避免独占
gpus = tf.config.experimental.list_physical_devices('GPU')
if gpus:
    try:
        for gpu in gpus:
            tf.config.experimental.set_memory_growth(gpu, True)
    except RuntimeError as e:
        print(e)

如果开启后并行运行的显存总占用接近14GB（7GB×2），那之前的问题大概率就是显存独占导致的。

2. 线程与会话的绑定限制了并行调度 #

要是你用的是传统的tf.Session()来运行图，每个会话默认会绑定到特定的线程上下文，而且TensorFlow的会话本身并非线程安全。哪怕你在不同线程创建了独立的图和会话，GPU的CUDA流调度可能还是会把两个图的任务排队执行，而非真正并行。这种情况下，你可以给每个图指定独立的CUDA流：

# 为每个独立图创建专属CUDA流
graph1 = tf.Graph()
with graph1.as_default():
    # 加载冻结模型的代码
    sess1 = tf.Session(config=tf.ConfigProto(allow_soft_placement=True))
    # 创建自定义CUDA流
    stream1 = tf.compat.v1.get_default_graph().create_op('Stream', [], tf.int32)
    
graph2 = tf.Graph()
with graph2.as_default():
    # 加载冻结模型的代码
    sess2 = tf.Session(config=tf.ConfigProto(allow_soft_placement=True))
    stream2 = tf.compat.v1.get_default_graph().create_op('Stream', [], tf.int32)

3. 模型本身的计算瓶颈导致“假串行” #

单个图的算力利用率才15%，说明你的模型计算密度很低——大概率存在大量CPU-GPU数据传输、预处理等待之类的瓶颈。这种情况下，哪怕你并行跑两个模型，GPU还是在等数据，自然看起来像是串行执行。你可以试试这两个优化方向：

• 改成批量输入，提升GPU的计算负载率
• 将预处理逻辑移到GPU上执行，减少CPU到GPU的数据传输开销

额外验证建议 #

你可以再观察并行运行时的GPU状态：

• 如果总显存占用接近14GB，说明显存分配没问题，瓶颈在调度或模型本身
• 如果总显存还是维持在7GB左右，那肯定是第一个图独占了显存，第二个图无法启动

内容的提问来源于stack exchange，提问作者PKrish