Text Gen Web UI模型加载器报错问题求助

问题概况 #

使用Text Gen Web UI加载HuggingFace上的模型时，频繁触发ModuleNotFoundError（涉及autogptq、exllamav2等加载器），同时还出现模型文件缺失的OSError。硬件为Intel i7 CPU（无GPU），此前用其他UI工具可正常运行小型模型。

操作流程 #

• 从Git克隆Text Gen项目，通过Anaconda Navigator创建新环境
• 用Visual Studio Code打开项目，指定该conda环境的Python作为解释器
• 激活conda环境，安装项目根目录下的requirements.txt依赖包
• 执行项目自带的one_click.py启动应用

已尝试的无效方案 #

• 重新安装pip包
• 安装CPU版PyTorch：pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
• 删除并重新配置conda环境
• 咨询ChatGPT、CoPilot

具体错误示例 #

ModuleNotFoundError: Failed to import 'autogptq'. Please install it manually following the instructions in the AutoGPTQ GitHub repository.
ModuleNotFoundError: No module named 'exllamav2'
OSError: Error no file named pytorch_model.bin, model.safetensors, tf_model.h5, model.ckpt.index or flax_model.msgpack found in directory models\meta-llama_Llama-3.2-1B.

解决办法 #

1. 补全加载器专属依赖 #

Text Gen Web UI的默认requirements.txt仅包含基础依赖，AutoGPTQ、ExLlamaV2这类加载器的依赖需要单独安装：

• 安装CPU版AutoGPTQ：pip install auto-gptq --extra-index-url https://huggingface.co/auto-gptq/whl/cpu/
• 安装ExLlamaV2：先确保环境已安装cmake，再执行pip install exllamav2
• 也可直接使用项目自带的细分依赖文件，比如requirements/autogptq.txt，执行pip install -r requirements/autogptq.txt

2. 修复模型文件缺失问题 #

OSError源于模型文件未完整下载：

• 检查models\meta-llama_Llama-3.2-1B目录，确认是否存在safetensors等核心模型文件
• 若自动下载中断，手动从HuggingFace下载对应模型的全部文件并放入该目录
• 注意Llama系列模型需先在HuggingFace完成账号授权才能下载，确认权限已获取

3. 确保环境一致性 #

• 启动Web UI前，确认conda环境已激活，VS Code的Python解释器与当前激活环境一致
• 执行pip list检查依赖是否真的安装成功，避免环境切换导致的依赖丢失

内容的提问来源于stack exchange，提问作者Duanne