CUDA GPU内核队列机制及多进程推理GPU性能profiling咨询

一、CUDA对多上下文内核请求的处理机制 #

• 每个PyTorch进程对应一个独立的CUDA上下文（context），不同上下文的内核请求相互隔离，各自拥有专属的任务队列。
• 当进程调用cuLaunchKernel时，内核会被提交到该进程上下文的FIFO队列中等待调度。
• GPU硬件的全局调度器会从所有活跃上下文的队列中选取可执行任务，调度策略并非严格全局FIFO，会结合任务优先级、资源占用量、SM并行能力等因素动态调整，尽可能提升GPU利用率。
• 不同上下文的内存空间完全隔离，进程间若需交换数据，必须通过显式的跨进程内存拷贝操作（比如torch.Tensor.copy_配合设备上下文切换）实现，内核无法直接访问其他进程的显存。

二、PyTorch下CUDA状态监测与多并发性能分析方法 #

实时CUDA状态监测 #

• nvidia-smi命令行工具：这是最常用的实时监控方式，能快速查看GPU整体状态和进程级资源占用：
  • nvidia-smi dmon：持续输出GPU使用率、显存占用、温度、功耗等实时数据，刷新间隔默认1秒
  • nvidia-smi pmon：聚焦进程维度，显示每个进程的GPU使用率、显存占用情况
• PyTorch内置API：可以在代码中嵌入状态查询，精准追踪当前进程的显存变化：
  • torch.cuda.memory_allocated()：查询当前进程已分配的显存量（单位字节）
  • torch.cuda.max_memory_allocated()：查询当前进程运行以来的显存峰值
  • torch.cuda.memory_reserved()：查询当前进程向CUDA驱动预留的显存量
  • 简单的实时监控代码示例：

    import time
    import torch
    
    def cuda_monitor():
        while True:
            alloc = torch.cuda.memory_allocated() / 1024**2
            reserved = torch.cuda.memory_reserved() / 1024**2
            max_alloc = torch.cuda.max_memory_allocated() / 1024**2
            print(f"当前已分配显存: {alloc:.2f} MB | 预留显存: {reserved:.2f} MB | 历史峰值: {max_alloc:.2f} MB")
            time.sleep(1)
    

多并发任务下的性能Profiling #

• NVIDIA Nsight Systems：
  • 支持捕获多进程的完整CUDA执行 timeline，能直观展示不同进程的内核启动、执行时间线，以及GPU资源的调度冲突情况
  • 启动命令示例：

    nsys profile --sample=none --trace=cuda,nvtx,osrt --output=multi_proc_profile python your_inference_script.py
    

  • 生成的.nsys-rep文件可以用Nsight Systems GUI打开，通过时间线视图分析进程间的内核重叠度、等待延迟等性能瓶颈。
• PyTorch Profiler：
  • 专为PyTorch设计的细粒度profiler，支持跟踪CPU/CUDA操作、内存分配、内核执行等，多进程场景下可以给每个进程的输出加上标识区分
  • 示例代码：

    import torch
    from torch.profiler import profile, record_function, ProfilerActivity
    import os
    
    def run_inference(model, input):
        with torch.no_grad():
            return model(input)
    
    # 初始化模型和输入
    model = torch.nn.Linear(1000, 100).cuda()
    input = torch.randn(32, 1000).cuda()
    
    # 带进程ID标识的profiling
    with profile(activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA], record_shapes=True) as prof:
        with record_function(f"proc_{os.getpid()}_inference"):
            run_inference(model, input)
    
    # 输出关键指标
    print(f"进程{os.getpid()} profiling结果:")
    print(prof.key_averages().table(sort_by="cuda_time_total", row_limit=10))
    

• CUDA Visual Profiler（nvprof）：
  • 传统的CUDA性能分析工具，适合快速排查多进程下的内核执行问题
  • 命令行示例：

    nvprof --print-gpu-trace --profile-from-start off python your_inference_script.py
    

  • 输出会显示每个内核的启动时间、执行时长、所属进程ID等信息，可用于判断是否存在进程抢占导致的内核等待延迟。

内容的提问来源于stack exchange，提问作者MiaoW