为何通过Git从Hugging Face克隆仅下载部分仓库内容？

问题分析 #

从你提供的克隆日志来看，Killeding content（实际是下载进程被中断）说明Git LFS的大文件下载过程被系统终止，导致模型权重这类核心大文件没有完全拉取，所以本地文件体积远小于原仓库且大量缺失。

解决步骤 #

• 确认Git LFS全局初始化状态
  即便已经安装Git LFS，也可能存在未完成全局初始化的情况，执行以下命令确保配置生效：

  git lfs install
  

• 续传缺失的LFS对象
  进入已克隆的flan-t5-xl目录，执行命令继续下载未完成的大文件：

  cd flan-t5-xl
  git lfs pull
  

• 排查下载中断的核心原因

  • 检查磁盘空间：google/flan-t5-xl仓库总大小约10GB，确保本地磁盘有足够剩余空间
  • 优化网络超时设置：网络波动易导致下载中断，可延长LFS超时时间：

    git config lfs.timeout 3600
    

  • 排查系统资源限制：Linux系统下可能因内存不足触发OOM Killer终止进程，可通过日志确认：

    dmesg | grep -i kill
    

    若确为内存问题，可临时增加交换分区缓解。

• 备选稳定下载方案
  如果Git LFS持续出现中断问题，使用Hugging Face官方工具下载更可靠：

  1. 安装依赖工具：

     pip install huggingface-hub
     

  2. 直接下载仓库：

     huggingface-cli download google/flan-t5-xl --local-dir flan-t5-xl
     

内容的提问来源于stack exchange，提问作者Luca Giorgi