离线无外网集群中基于预训练权重运行LLM推理的方案咨询

可行的LLM推理方案 #

考虑到你不想调整模型超参数，除了transformers+LangChain的组合，推荐以下两种适配离线集群的方案：

• 预封装推理库：使用vllm或text-generation-inference的Python包，这类库默认搭载优化后的推理参数，无需手动调整，只需指向预训练权重路径即可启动推理，完全依赖Python环境，适合集群限制。
• 轻量化推理框架：采用ctransformers库，它针对GGUF等轻量化模型格式做了优化，支持直接加载离线权重，默认参数即可运行，无需额外配置超参数，仅需安装Python包就能使用。

问题解答 #

1. 仅安装ollama-python包能否运行推理？ #

不能。ollama-python只是Ollama的Python客户端，必须依赖本地运行的Ollama Linux服务端进程才能工作。如果集群仅允许安装Python库、无法部署系统级的Ollama服务，这个方案不可行。

2. 若部署Ollama后，如何导入单个/多个.bin格式的预训练权重？ #

首先需要将.bin权重转换为Ollama兼容的格式，具体步骤如下：

• 单个.bin文件：如果是GGUF量化格式的.bin文件，编写一个Modelfile，内容为FROM ./your-model.bin，然后执行命令 ollama create custom-model -f Modelfile，即可将权重打包为Ollama可识别的模型，之后用ollama run custom-model启动推理。
• 多个.bin文件（如Hugging Face分片权重）：将所有.bin文件放到同一目录，编写Modelfile，指定FROM ./your-weight-directory，同时补充模型基础配置（如PARAMETER model_type llama），再执行ollama create custom-model -f Modelfile完成模型打包，即可正常调用。

内容的提问来源于stack exchange，提问作者ventisk1ze