如何使用Poetry安装带cuBLAS加速的llama-cpp-python?
Poetry安装带cuBLAS加速的llama-cpp-python问题
我可以通过以下pip命令安装带cuBLAS支持的llama-cpp-python:
CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python
但我无法通过Poetry完成带cuBLAS加速版本的正确安装——安装过程能完成,但无法启用cuBLAS加速。经测试,我当前环境中用pip安装的版本可以正常使用cuBLAS。
我已在pyproject.toml中添加了如下依赖配置:
[tool.poetry.dependencies] python = ">=3.10, <3.13" ... llama-cpp-python = "^0.2.13" ...
我尝试过两种方式均未解决问题:
- 直接在命令行前拼接环境变量执行安装:
CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 poetry install
- 先导出环境变量再执行安装命令:
export CMAKE_ARGS="-DLLAMA_CUBLAS=on" export FORCE_CMAKE=1 poetry install
内容的提问来源于stack exchange,提问作者KimuGenie
相关产品推荐
相关产品推荐

