如何过滤冗余文件下载HuggingFace模型？以Qwen32B-GGUF为例

直接使用huggingface-cli参数过滤 #

• 指定包含文件：通过--include参数精准定位需要的量化文件，比如仅下载q4_k_m版本的GGUF文件：

  huggingface-cli download Qwen/Qwen32B-GGUF --include "qwen32b-q4_k_m.gguf" --local-dir ./qwen32b
  

• 排除不需要的文件：结合--exclude和--include，先排除所有GGUF文件再指定保留目标文件，避免下载其他量化版本：

  huggingface-cli download Qwen/Qwen32B-GGUF --exclude "*.gguf" --include "qwen32b-q4_k_m.gguf" --local-dir ./qwen32b
  

  注：--include优先级高于--exclude，可灵活组合实现精准过滤。

通过配置文件实现自动过滤 #

如果需要重复使用相同过滤规则，可创建全局配置文件：

1. 在用户根目录下创建.huggingface/download_config.json文件，写入过滤规则：

   {
     "include": ["qwen32b-q4_k_m.gguf"],
     "exclude": ["*.gguf", "!qwen32b-q4_k_m.gguf"]
   }
   

2. 下载时指定该配置文件，无需重复输入参数：

   huggingface-cli download Qwen/Qwen32B-GGUF --config-file ~/.huggingface/download_config.json --local-dir ./qwen32b
   

用Python脚本实现自定义过滤逻辑 #

对于复杂过滤需求（如按量化级别自动筛选），使用huggingface_hub库编写脚本：

from huggingface_hub import snapshot_download

# 示例：仅下载所有q4级别的量化文件
snapshot_download(
    repo_id="Qwen/Qwen32B-GGUF",
    local_dir="./qwen32b",
    allow_patterns=["*q4*.gguf"],
    ignore_patterns=["*q5*.gguf", "*q6*.gguf", "*q8*.gguf"]
)

内容的提问来源于stack exchange，提问作者Hobin C.