You need to enable JavaScript to run this app.
最新活动
大模型
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

如何通过Ollama从Hugging Face仓库本地运行Qwen3:14B模型?

如何通过Ollama从Hugging Face仓库本地运行Qwen3:14B模型?

嘿,我来帮你把这个流程捋得明明白白,其实分两种常见情况,咱们一步步来,保证你能顺利跑起来:

场景1:直接用Ollama官方托管的Qwen3:14B模型

这是最省心的路子,只要Ollama官方已经适配了这个模型,直接几步搞定:

  • 先确认你已经装好了Ollama(没装的话去官网下对应系统的安装包,一路下一步就行)
  • 打开终端,直接敲命令:ollama run qwen3:14b
    • Ollama会自动从自己的注册表拉取适配好的模型版本,一般都是经过优化的GGUF格式,拉完直接就能进入对话界面
  • 要是你需要特定量化级别(比如4bit、8bit),可以试试加标签的命令,比如ollama run qwen3:14b-q4_0,Ollama的模型列表里一般会标注支持的量化标签

场景2:导入Hugging Face上的自定义量化GGUF模型

如果Ollama官方没有你要的量化版本(比如某些小众的量化级别),那就得自己从Hugging Face拉GGUF文件,再用Ollama的Modelfile导入,这个也不难:

  • 首先,从Hugging Face下载你需要的Qwen3:14B的GGUF格式文件(比如qwen3-14b-chat-q5_k_m.gguf这类,注意要选GGUF v3及以上版本,而且优先选带“chat”后缀的——如果是做对话用的话,纯基座模型没有对话能力)
  • 本地建个空文件夹,比如叫qwen3-custom,把下载好的GGUF文件丢进去
  • 在这个文件夹里新建一个Modelfile文件(注意大小写,没有后缀),内容这么写:
    FROM ./qwen3-14b-chat-q5_k_m.gguf  # 这里替换成你实际下载的文件名
    PARAMETER stop "<|im_end|>"
    PARAMETER stop "<|im_start|>"
    SYSTEM "你是一个乐于助人的智能助手"  # 这个可以改成你自己想要的默认系统提示词
    
    这里划重点:PARAMETER stop是设置Qwen3的对话停止标记,必须加上,不然对话会无限循环输出;FROM就是指定你本地的GGUF文件路径
  • 打开终端,cd到qwen3-custom文件夹,然后敲命令:ollama create qwen3-custom:14b -f Modelfile
    • 这个命令会把本地的GGUF文件打包成Ollama能识别的模型格式,qwen3-custom:14b是你给这个自定义模型起的名字,随便改都行
  • 模型创建好之后,直接跑:ollama run qwen3-custom:14b 就能启动对话了

一些关键注意事项

  • 下载GGUF文件时,一定要认准是Qwen3专属的,别下成其他模型的,不然导入会报错
  • 14B的模型Q5量化版本大概10G左右,确保你本地磁盘有足够空间,下载和导入时网络要稳
  • 运行前检查配置:14B模型至少需要16G以上内存(用CPU跑的话可能要24G+,建议开GPU加速——Ollama会自动调用NVIDIA或AMD的GPU,前提是你装好了对应驱动)
  • 要是创建模型时碰到权限问题,检查一下你对Modelfile和GGUF文件有没有读写权限

有问题随时说,比如某个步骤卡壳了,把具体错误信息贴出来,我帮你排查~

火山引擎 最新活动