TensorFlow新手：如何让Ubuntu虚拟机调用同局域网CUDA远程GPU运行任务？

TensorFlow本身没有原生的跨机器直接调用GPU的功能，但可以通过以下两种成熟方案实现你的需求：

方案一：基于TensorFlow分布式训练框架 #

在GPU-X或GPU-Y的物理机上搭建TensorFlow工作节点，虚拟机作为客户端提交计算任务到远程GPU节点执行：

• 前置准备：在目标GPU物理机上安装好TensorFlow、CUDA工具包和NVIDIA驱动，确保GPU能正常本地运行TensorFlow
• 操作步骤：
  1. 在GPU物理机上启动TensorFlow Server，指定监听的IP和端口：

     import tensorflow as tf
     cluster = tf.train.ClusterSpec({"worker": ["<物理机IP>:2222"]})
     server = tf.train.Server(cluster, job_name="worker", task_index=0)
     server.join()
     

  2. 在虚拟机的TensorFlow代码中，连接到远程Server并提交计算任务：

     import tensorflow as tf
     cluster = tf.train.ClusterSpec({"worker": ["<物理机IP>:2222"]})
     server = tf.train.Server(cluster, job_name="worker", task_index=0)
     with tf.Session(server.target) as sess:
         # 替换为你的TensorFlow计算逻辑
         test_tensor = tf.multiply(tf.constant(3.0), tf.constant(4.0))
         print(sess.run(test_tensor))
     

• 说明：这种方式本质是利用TensorFlow的分布式能力，即使单任务也能适配，虚拟机仅负责传递计算图，实际运算在远程GPU完成。

方案二：利用NVIDIA远程GPU服务 #

如果你的GPU是NVIDIA型号，可以通过NVIDIA的远程GPU共享工具，将物理机GPU暴露为网络可访问资源：

• 在GPU物理机上部署NVIDIA Cloud Native Stack或类似的远程GPU服务，把GPU封装成可远程调用的端点
• 虚拟机中安装TensorFlow时，配置环境变量指向远程GPU服务的地址，即可让TensorFlow将计算任务转发到远程GPU执行
• 优势：无需大幅修改现有TensorFlow代码，使用体验接近本地GPU

针对GPU-X的特殊说明 #

由于你的虚拟机部署在GPU-X物理机上但无GPU直通，无法直接让虚拟机调用GPU-X的GPU，但可以在GPU-X物理机上单独部署上述任意一种远程服务，虚拟机通过局域网连接到该服务，间接使用GPU-X的算力。

内容的提问来源于stack exchange，提问作者fennec