无GPU环境下运行Vicuna的FastChat模型报错求助

关于AssertionError: Torch not compiled with CUDA enabled错误 #

这个错误确实是因为电脑无GPU导致的。Vicuna-7B这类大模型默认会尝试调用CUDA（NVIDIA GPU专属计算框架）加载运行，但你的系统没有GPU，且当前安装的PyTorch是不带CUDA支持的CPU版本，因此触发了这个断言错误。

解决办法 #

• 强制用CPU运行模型：启动model_worker时添加--device cpu参数，修改后的命令为：

  python3 -m fastchat.serve.model_worker --model-path lmsys/vicuna-7b-v1.3 --device cpu
  

  注意：7B模型在CPU上运行速度会极慢，且需要至少16GB以上内存（建议32GB），否则大概率会出现内存不足的问题。

关于浏览器访问localhost显示{"detail":"Not Found"}的说明 #

FastChat的controller仅负责协调model_worker与API server的调度，本身没有可直接在浏览器打开的UI页面。你需要继续执行官方步骤启动API server（命令为python3 -m fastchat.serve.openai_api_server --host localhost --port 8000），之后通过API调用工具（比如curl、Python代码）和模型交互，而非直接访问controller的地址。

内容的提问来源于stack exchange，提问作者DBM