在Google Colab中使用ctransformers创建stablelm类型GGUF模型失败求助

代码示例 #

from ctransformers import AutoModelForCausalLM

llm = AutoModelForCausalLM.from_pretrained("TheBloke/Marx-3B-v3-GGUF", model_file="marx-3b-v3.Q3_K_S.gguf", model_type='stablelm')
print(llm("AI is going to"))

错误信息 #

RuntimeError: Failed to create LLM 'stablelm' from '/root/.cache/huggingface/hub/models--TheBloke--Marx-3B-v3-GGUF/blobs/fb16032da1b4f68d465cb7b2164c5305be8a008657ed0cd6cbb91b3a94b032ee'.

解决方法 #

• 修正模型架构类型
  Marx-3B-v3是基于Llama 2微调的模型，并非StableLM架构。将model_type参数改为'llama'即可解决核心问题，修改后代码：

  llm = AutoModelForCausalLM.from_pretrained("TheBloke/Marx-3B-v3-GGUF", model_file="marx-3b-v3.Q3_K_S.gguf", model_type='llama')
  

• 更新ctransformers至最新版本
  旧版本库可能对GGUF模型的兼容性不足，在Colab中执行升级命令：

  !pip install --upgrade ctransformers
  

• 重新下载模型文件
  缓存的模型文件可能存在损坏，删除缓存后重新下载：

  !rm -rf /root/.cache/huggingface/hub/models--TheBloke--Marx-3B-v3-GGUF
  

  之后重新运行加载代码即可。

内容的提问来源于stack exchange，提问作者Jooo21