如何指定本地路径加载DeepSeek-V3模型进行Hugging Face推理？

直接将pipeline函数中model参数的值替换为你本地下载的DeepSeek-V3仓库文件夹的绝对路径或相对路径即可，无需修改其他核心逻辑，示例代码如下：

from transformers import pipeline

messages = [
    {"role": "user", "content": "Who are you?"},
]
# 替换为你的本地模型文件夹路径，比如 "/home/user/models/DeepSeek-V3" 或者 "./local-deepseek-v3"
pipe = pipeline("text-generation", model="/path/to/your/local/deepseek-v3", trust_remote_code=True)
result = pipe(messages)
print(result)

关键注意事项 #

• 确保本地文件夹包含模型的所有必要文件：比如config.json、model.safetensors（或对应权重文件）、tokenizer_config.json、vocab.json等，缺少关键文件会导致加载失败。
• 必须保留trust_remote_code=True参数，因为DeepSeek系列模型依赖自定义的模型架构代码，需要从本地文件中加载这些代码。

内容的提问来源于stack exchange，提问作者The_Average_Engineer