如何确认koboldcpp是否使用GPU？编译后CPU独占问题排查

1. koboldcpp是否会在日志中明确标注GPU使用？ #

会。如果成功启用GPU（CUDA/CUBLAS）加速，koboldcpp的启动日志会直接输出GPU相关的明确信息，无需依赖nvidia-smi这类外部工具。例如：

• 会显示CUDA detected: X.X（对应CUDA版本）
• 会标注Using CUBLAS backend
• 还会列出识别到的GPU型号、分配的显存大小等细节

你的当前日志里完全没有这类GPU相关条目，结合nvidia-smi显示GPU占用0%，可以确认GPU加速未启用。

2. 能否通过System Info中的BLAS=1判断GPU是否启用？ #

不能。BLAS是通用线性代数库的标准接口，既可以对应CPU版BLAS（比如OpenBLAS），也可以对应GPU版BLAS（比如CUDA BLAS）。BLAS=1仅表示程序编译时启用了BLAS支持，但无法区分是CPU还是GPU版本。

另外你的日志里显示BLAS=0，说明你编译时指定的LLAMA_OPENBLAS=1和LLAMA_CUBLAST=1配置并未生效，这也是GPU加速未启用的直接表现之一。

内容的提问来源于stack exchange，提问作者sashoalm