首先直接回答你的核心疑问：在你的示例代码中，只要正确执行，/gpu:0和/gpu:1上的操作是可以并行运行的——但这里有个关键前提：你必须在会话中同时触发这两个操作的计算，而不是分开执行。

为什么你可能误以为是顺序执行？ #

你给出的代码只完成了计算图的构建阶段：在图构建时，我们是顺序指定/gpu:0和/gpu:1的操作，但TensorFlow的数据流图是基于依赖关系调度执行的——只要两个操作之间没有数据依赖（比如你的z1和z2都只依赖x和y，互相不依赖），在会话执行阶段，TensorFlow会自动将它们分配到对应的GPU上并行运行。

但如果你的实际执行代码是先sess.run(z1)再sess.run(z2)，那这就是顺序执行了——因为每次sess.run()都会单独触发一次计算流，GPU会依次完成两个任务，自然看不到并行效果。

如何确保真正的并行运行？ #

1. TF1.x 手动指定设备的正确方式

确保在会话中同时运行所有无依赖的操作，示例代码如下：

import tensorflow as tf

# 优先用TensorFlow常量而非Python标量，减少CPU-GPU数据传输开销
x = tf.constant(5)
y = tf.constant(2)

with tf.device('/gpu:0'):
    z1 = tf.multiply(x, y)
with tf.device('/gpu:1'):
    z2 = tf.add(x, y)

# 配置会话，启用设备日志方便验证操作运行的设备
config = tf.ConfigProto(
    allow_soft_placement=True,  # 当指定设备不可用时自动降级到可用设备
    log_device_placement=True   # 打印每个操作的实际运行设备
)

with tf.Session(config=config) as sess:
    # 同时运行z1和z2，触发并行计算
    result_z1, result_z2 = sess.run([z1, z2])
    print(f"z1 = {result_z1}, z2 = {result_z2}")

运行后你会在日志中看到z1和z2分别被分配到/gpu:0和/gpu:1，且是并行执行的。

2. TF2.x 推荐使用官方分布式策略

TF2.x已经摒弃了手动指定设备的繁琐方式，官方推荐用MirroredStrategy等分布式策略来自动处理多GPU并行，不仅更高效，还能避免手动配置的错误：

import tensorflow as tf

# 初始化多GPU镜像策略，自动检测并使用所有可用GPU
strategy = tf.distribute.MirroredStrategy()

with strategy.scope():
    x = tf.constant(5)
    y = tf.constant(2)
    z1 = tf.multiply(x, y)
    z2 = tf.add(x, y)

# TF2.x默认即刻执行，无依赖操作会自动并行
print(f"z1 = {z1.numpy()}, z2 = {z2.numpy()}")

为什么你的多GPU训练比单GPU慢？ #

你遇到的训练速度变慢问题，大概率不是并行机制本身的问题，而是以下常见原因：

• 任务粒度太小：像你示例中的简单乘法/加法操作，GPU启动和CPU-GPU数据传输的开销远大于计算时间，并行反而会增加额外开销。
• 数据加载瓶颈：CPU读取、预处理数据的速度跟不上多个GPU的计算需求，导致GPU长时间空闲。
• 显存配置不合理：默认情况下TensorFlow会占用GPU全部显存，可能导致资源浪费；建议设置tf.config.experimental.set_memory_growth(gpu, True)来动态分配显存。
• 跨GPU通信开销：如果训练时需要频繁在GPU间交换梯度或中间结果，通信开销会抵消并行收益，这时候需要优化模型拆分方式。

内容的提问来源于stack exchange，提问作者Zhao