You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

如何使用Poetry安装带cuBLAS加速的llama-cpp-python?

Poetry安装带cuBLAS加速的llama-cpp-python问题

我可以通过以下pip命令安装带cuBLAS支持的llama-cpp-python:

CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python

但我无法通过Poetry完成带cuBLAS加速版本的正确安装——安装过程能完成,但无法启用cuBLAS加速。经测试,我当前环境中用pip安装的版本可以正常使用cuBLAS。

我已在pyproject.toml中添加了如下依赖配置:

[tool.poetry.dependencies]
python = ">=3.10, <3.13"
...
llama-cpp-python = "^0.2.13"
...

我尝试过两种方式均未解决问题:

  • 直接在命令行前拼接环境变量执行安装:
CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 poetry install
  • 先导出环境变量再执行安装命令:
export CMAKE_ARGS="-DLLAMA_CUBLAS=on"
export FORCE_CMAKE=1
poetry install

内容的提问来源于stack exchange,提问作者KimuGenie

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.05 21:17:35