如何远程利用另一台电脑的算力进行PyTorch训练？

1. SSH远程开发（最简便高效） #

• 给台式机开启SSH服务，确保两台设备在同一局域网内。
• 笔记本端可直接用终端通过 ssh 用户名@台式机IP 连接到台式机，激活已配置好PyTorch+CUDA的环境后，直接运行训练代码。
• 更友好的方式是用VS Code的Remote-SSH插件：在笔记本的VS Code中连接台式机，直接在本地编辑代码，所有代码都会在台式机的GPU环境中执行，仅同步代码和运行输出，没有多余的画面传输。

2. PyTorch RPC远程调用（适合需本地控制流程的场景） #

通过PyTorch的RPC框架，将台式机作为GPU计算节点，笔记本作为控制节点，直接在笔记本代码中调用远程GPU算力：

• 台式机启动RPC服务（需确保防火墙开放对应端口）：

  import torch.distributed.rpc as rpc
  
  rpc.init_rpc(
      "gpu_node",
      rank=0,
      world_size=2,
      rpc_backend_options=rpc.TensorPipeRpcBackendOptions(
          init_method="tcp://0.0.0.0:29500"
      )
  )
  # 保持服务运行，等待调用
  rpc.shutdown()
  

• 笔记本端代码调用远程GPU：

  import torch.distributed.rpc as rpc
  import torch
  
  rpc.init_rpc(
      "laptop_node",
      rank=1,
      world_size=2,
      rpc_backend_options=rpc.TensorPipeRpcBackendOptions(
          init_method="tcp://台式机IP:29500"
      )
  )
  # 获取远程GPU设备
  remote_gpu = rpc.remote("gpu_node", torch.device, args=("cuda:0",)).to_here()
  # 后续训练代码可直接指定使用该远程设备
  model = torch.nn.Linear(10, 2).to(remote_gpu)
  # ... 训练逻辑 ...
  rpc.shutdown()
  

3. 远程Jupyter Notebook #

• 台式机启动允许远程访问的Jupyter服务：

  jupyter notebook --ip=0.0.0.0 --port=8888 --no-browser --NotebookApp.password='你的加密密码'
  

• 笔记本打开浏览器，输入 http://台式机IP:8888，验证密码后即可在浏览器中编写、运行代码，所有计算都会在台式机的GPU上完成，体验和本地Jupyter一致。

以上方案都避免了Moonlight串流桌面的冗余，仅传输必要的代码、指令和运行结果，效率更高，更适合开发训练场景。

内容的提问来源于stack exchange，提问作者Ludwiggle