CUDA进程间GPU内存共享的相关技术问题咨询

问题1：同时启动两个进程时，共享数据会仅在GPU设备内存中加载一次吗？ #

不会。默认情况下，每个CUDA进程都拥有独立的GPU上下文，进程间的GPU内存空间完全隔离。哪怕数据来自同一个共享库，每个进程都会将这份数据独立复制到自己的GPU地址空间中，也就是会在GPU内存中加载两次。只有通过**CUDA IPC（进程间通信）或MPS（多进程服务）**这类特殊机制，才有可能实现数据的跨进程共享。

问题2：若延迟启动P2，共享数据会被再次复制到GPU，还是P2会复用GPU中已有的数据？ #

默认情况下仍然会再次复制。P1的GPU内存属于它自己的上下文，P2启动后会创建新的独立上下文，无法直接访问P1的GPU内存数据，因此会重新将共享数据加载到自己的GPU空间里。如果要实现复用，必须显式使用CUDA IPC来让P2访问P1创建的GPU内存对象。

问题3：不同CUDA进程间共享数据是否为常见做法？能否举例说明两个进程在GPU上协同运行且仅使用一份只读共享数据块的场景？ #

默认场景下不算常见，因为CUDA进程的上下文隔离特性天然限制了跨进程数据共享。但在显存资源紧张或需要优化数据加载开销的场景中，这种做法会被用到，典型例子包括：

• 大型只读数据集共享：比如多个进程并行处理不同的推理任务，都依赖同一个几十GB的预训练大模型权重。通过CUDA IPC共享这份只读权重，避免每个进程都重复加载，能大幅节省显存占用。
• 流水线式多进程协作：一个进程负责数据预处理（比如将高清影像转换成模型输入格式），另一个进程负责模型推理。预处理后的特征数据通过共享GPU内存块传递，无需从GPU拷贝回CPU再传给另一个进程，减少数据传输开销。
• 多租户GPU资源复用：在云GPU场景中，多个用户的推理进程共享同一个基础模型的只读权重，各自执行不同的推理请求，最大化GPU显存利用率。

内容的提问来源于stack exchange，提问作者Shubham Roy