Google Vertex AI Prediction：TorchServe显示0 GPU的原因及GPU利用疑问

日志显示0 GPU的常见原因 #

• TorchServe未配置启用GPU：默认情况下TorchServe以CPU模式启动，即便实例挂载了GPU，若未在config.properties中设置number_of_gpu=1（对应单GPU实例），TorchServe不会主动绑定GPU，启动阶段的检测自然显示0。
• GPU驱动初始化延迟：Vertex AI的GPU实例启动时，CUDA驱动需要短暂时间完成加载，而你的日志检测代码可能在驱动就绪前就执行了，导致误报GPU数量为0。
• 自定义容器环境不兼容：如果使用自定义容器部署，容器内可能未安装适配NVIDIA T4的CUDA Toolkit版本，或是PyTorch版本与CUDA版本不匹配，导致Torch无法识别GPU设备。

验证TorchServe是否真的利用GPU #

• 在模型的预测处理逻辑中添加GPU状态检测代码，比如在predict方法里打印torch.cuda.is_available()和torch.cuda.device_count()的结果，通过预测请求的日志确认GPU是否可用。
• 查看Vertex AI端点的监控指标：在控制台的端点监控面板中查看GPU使用率，若有请求时使用率明显上升，说明GPU确实在被使用，启动日志的0 GPU只是初始状态的误判。

修复方案 #

• 配置TorchServe的config.properties文件，添加number_of_gpu=1（多GPU实例对应调整数值），强制服务启动时绑定GPU。
• 若使用自定义容器，确保容器内安装兼容T4的CUDA Toolkit（推荐CUDA 11.x系列），且PyTorch为对应CUDA版本编译的版本（例如torch==2.0.0+cu117）。
• 调整GPU检测代码的执行时机：将GPU计数逻辑放在TorchServe完全初始化后，或是在处理第一个预测请求时再打印，避免在驱动未就绪阶段检测。

内容的提问来源于stack exchange，提问作者urig