Windows 10下在VS Code中为Python（llama-cpp-python）启用GPU的方法

我在配备32GB内存、4GB显存Nvidia P100 GPU的Windows 10设备上开发Python程序时，发现大语言模型（LLMs）推理过程未调用本机GPU，耗费大量精力后总结出以下可行步骤：

• 安装C分发组件：打开Visual Studio 2022安装程序，勾选「使用C的桌面开发」分类下的「Windows 10 SDK (10.0.20348.0)」选项（对应勾选选项的截图示例：Visual Studio安装界面中展示该勾选项），完成安装。
• 下载并安装Nvidia CUDA Toolkit
• 确保系统环境变量中已配置CUDA_PATH
• 在Visual Studio Code中设置以下环境变量：

$env:CMAKE_ARGS="-DLLAMA_CUBLAS=on"
$env:CUDACXX="C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2\bin\nvcc.exe"

• 执行以下命令重装升级llama-cpp-python：

pip install llama-cpp-python --no-cache-dir --force-reinstall --upgrade

完成上述操作后，运行Python程序时会看到BLAS已设置为1的提示（对应运行提示的截图示例）。

内容的提问来源于stack exchange，提问作者Umaima Tinwala