使用Hugging Face示例加载LLM模型时卡在分片下载的解决方法

针对你调用tiiuae/falcon-40b-instruct时卡在分片下载0%的问题，可尝试以下几种解决方案：

• 切换国内镜像源
  海外模型仓库的网络连接不稳定是常见原因，在代码开头添加环境变量切换到国内镜像：

  import os
  os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
  

  之后再执行原有的模型加载代码。

• 手动下载分片后本地加载

  1. 手动从模型仓库下载所有分片文件（如pytorch_model-00001-of-00005.bin等）及配套的配置文件；
  2. 将文件放到本地目录，修改代码中的model参数为本地路径：

     model = "/your/local/path/to/falcon-40b-instruct"
     

• 添加下载续传与超时参数
  在模型和分词器加载时启用续传功能并设置更长的超时时间，避免因短暂断联导致下载中断：

  tokenizer = AutoTokenizer.from_pretrained(model, resume_download=True, timeout=300)
  pipeline = transformers.pipeline(
      "text-generation",
      model=model,
      tokenizer=tokenizer,
      torch_dtype=torch.bfloat16,
      trust_remote_code=True,
      device_map="auto",
      model_kwargs={"resume_download": True, "timeout": 300}
  )
  

• 检查磁盘空间
  falcon-40b-instruct全量模型约占80GB磁盘空间，确认本地存储路径有足够剩余空间，避免因空间不足导致下载停滞。

• 切换到终端运行脚本
  Jupyter Notebook的内核可能对长时下载进程有限制，将代码保存为.py文件后在终端直接运行，观察下载是否正常。

内容的提问来源于stack exchange，提问作者CSe