加载本地HuggingFace模型时checkpoint分片加载耗时过长求助

为什么本地加载仍要重复处理分片？ #

• 你操作没问题，Loading checkpoint shards是加载分片模型的必要步骤：大模型为适配存储和加载限制，会被拆成多个小文件保存，每次启动Python进程加载模型时，都得把这些分片文件读取、合并后加载到GPU/CPU内存里，这个过程没法跳过——除非让模型一直留在内存中。
• 你设置的max_shard_size="200MB"反而会增加分片数量，导致加载时要读取更多文件，可能拖慢速度，这个参数别乱调。

实现低延迟调用的核心思路：让模型常驻内存 #

每次运行Python文件都会重启进程、重新加载模型，这才是耗时的根源。解决办法是把模型加载和请求处理分开，让模型一直待在内存里，随时响应请求：

方案1：用FastAPI/Flask搭本地API服务 #

1. 写一个API脚本，启动时一次性加载模型，之后处理请求直接调用已加载的模型：

from fastapi import FastAPI
from transformers import AutoModelForCausalLM, AutoTokenizer

app = FastAPI()

# 启动时仅加载一次模型
model_path = "./your_local_model_path"
tokenizer = AutoTokenizer.from_pretrained(model_path, local_files_only=True)
model = AutoModelForCausalLM.from_pretrained(model_path, local_files_only=True, low_cpu_mem_usage=True)

@app.post("/generate")
def generate_text(prompt: str):
    inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
    outputs = model.generate(**inputs, max_new_tokens=100)
    return {"result": tokenizer.decode(outputs[0], skip_special_tokens=True)}

2. 启动服务：uvicorn your_script_name:app --host 0.0.0.0 --port 8000
3. 之后每次需要调用模型，用requests发HTTP请求给这个服务就行，不用再重新加载模型，响应速度会快很多。

方案2：用交互式环境（比如Jupyter Notebook） #

如果只是自己测试用，在Jupyter Notebook里一次性加载模型，之后在同一个会话里反复调用，就能避免每次重新加载的耗时。

方案3：优化分片加载速度 #

要是必须每次启动进程都加载模型，可以试试这两个优化：

• 合并模型分片：用transformers的merge_and_unload方法把分片合并成单个文件，减少加载时的文件读取次数：

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("./your_local_model_path", local_files_only=True)
merged_model = model.merge_and_unload()
merged_model.save_pretrained("./merged_model")

之后从./merged_model加载模型，能缩短分片加载的时间，但合并后的模型文件会变大，得确保存储有足够空间，而且加载时内存需求可能更高。

• 换更快的存储：如果模型存在机械硬盘上，读取速度会很慢，换成NVMe SSD这类高速存储，能显著加快Loading checkpoint shards的速度。

总结 #

核心问题就是每次运行Python文件都会重启进程、重新加载模型，解决关键是让模型常驻内存。搭API服务最适合频繁使用的场景，合并分片或换高速存储是辅助优化手段。

内容的提问来源于stack exchange，提问作者Khaleel