Llama.cpp GPU卸载异常问题：程序意外切换至CPU执行

关键日志信息 #

• BLAS=1 已设置
• llm_load_tensors: offloaded 0/33 layers to GPU
• llm_load_tensors: CPU buffer size = 7338.64 MiB

常见触发场景与排查方向 #

1. 环境依赖变更 #

• GPU驱动版本变动：驱动更新或回退可能导致CUDA/OpenCL运行时与llama.cpp编译版本不兼容，核对当前驱动版本与之前正常运行时的版本是否一致。
• GPU运行时损坏：执行nvcc --version（NVIDIA显卡）或对应GPU的运行时检测命令，确认CUDA/OpenCL环境是否正常。
• GPU显存被占用：后台进程（如视频渲染、挖矿程序）占用大量显存，导致llama.cpp无法分配足够空间卸载模型层，自动 fallback 到CPU。用nvidia-smi（NVIDIA）或GPU监控工具查看显存占用情况。

2. 配置参数遗漏 #

• 卸载层数参数缺失：llama.cpp默认不会自动卸载模型层到GPU，需显式通过--n-gpu-layers指定卸载层数（例如--n-gpu-layers 33），检查启动命令是否遗漏该参数。
• BLAS配置未绑定GPU：BLAS=1仅表示启用BLAS，但如果编译时未指定GPU版BLAS（如cuBLAS），BLAS仍会在CPU运行。确认编译命令是否包含LLAMA_CUBLAS=1这类GPU BLAS相关参数。

3. 代码与编译问题 #

• 版本更新引入逻辑变更：近期拉取的llama.cpp代码可能调整了GPU卸载的条件判断（如显存阈值、设备可用性检测），对比之前正常运行的版本，查看llm_load_tensors函数中的GPU卸载分支逻辑。
• 编译选项丢失：重新编译时若未添加GPU相关参数（如LLAMA_CUBLAS=1、LLAMA_METAL=1），生成的二进制文件会失去GPU卸载能力，需重新编译并确认编译参数。

社区同类案例反馈 #

已有不少用户遇到类似情况，核心原因集中在：

• 系统自动更新GPU驱动引发的兼容性问题
• 启动命令中--n-gpu-layers参数被误删
• 后台进程占用GPU显存导致无法分配资源

快速排查步骤 #

1. 确认启动命令中是否包含--n-gpu-layers并设置合理层数
2. 检查GPU显存是否被其他进程占用
3. 验证CUDA/OpenCL运行时及驱动版本正常
4. 重新编译llama.cpp并确保添加GPU相关编译参数

内容的提问来源于stack exchange，提问作者Montassar Jaziri