RTX 1080 8GB+48GB RAM本地LLM选型、部署及性能问题咨询

适配的模型及量化版本 #

• 代码辅助+通用场景：
  • Mistral-7B-Instruct-v0.2：GGUF Q4_K_M、GPTQ 4bit量化版本，显存占用约5-6GB，推理速度达标，代码能力和通用生成表现均衡
  • CodeLlama-7B-Instruct：GGUF Q4_K_M、GPTQ 4bit，针对代码优化，显存占用同Mistral，适合代码补全、调试需求
  • Llama-2-7B-Chat：GGUF Q4_K_M、GPTQ 4bit，通用对话和文本生成稳定，显存占用约6GB
• 轻量高效场景：
  • Phi-3-Mini-4K-Instruct：GGUF Q4_K_M，显存占用仅3-4GB，推理速度快（可达25-30tokens/秒），适合快速文本生成和RAG原型测试

最大支持参数规模 #

• 7B参数模型：无需CPU卸载，纯GPU即可流畅运行，完全匹配你的显存和速度需求
• 13B参数模型：必须通过分层卸载将部分模型层转移到CPU（依赖48GB RAM），纯GPU无法容纳13B的4bit量化版本（约需10GB显存）。48GB RAM足够承载卸载的模型层，不会出现内存不足问题

推荐部署框架/工具 #

• Ollama：最适合快速上手，一键安装部署，自动适配GPU+CPU混合推理，支持GGUF格式模型，Ubuntu/Windows双系统兼容性好。命令行操作简单，适合快速启动测试，也能通过API对接开发
• text-generation-webui：适合开发调试，提供可视化界面，支持GPTQ、GGUF等多种量化格式，可灵活配置GPU/CPU分层卸载比例，方便调整参数测试性能，还内置RAG插件，满足你的实验需求
• llama.cpp：轻量高效的推理框架，专门优化GGUF模型，支持CPU/GPU混合推理，资源占用低，适合对性能有精细控制的场景，可通过命令行或API调用

GPU推理 vs CPU卸载策略 #

• 优先GPU为主，CPU卸载为辅：
  • 7B模型：纯GPU推理即可，显存占用约5-6GB，剩余显存可用于缓存，速度能稳定在20-30tokens/秒，完全达标
  • 13B模型：必须启用CPU分层卸载，将部分计算压力转移到i7-9700K和48GB RAM，避免显存溢出。48GB RAM足够承载卸载的模型层，不会出现内存瓶颈

13B模型分层卸载的性能损失 #

• 纯GPU运行7B模型：速度约20-30tokens/秒，满足你的目标
• 13B模型分层卸载（卸载约30%的模型层到CPU）：速度会降至8-15tokens/秒，具体取决于卸载层数——卸载越少，速度越接近GPU原生，但显存占用越高；卸载越多，显存占用越低，但速度下降越明显。这个速度能满足开发测试的基本需求，但达不到你设定的15-30tokens/秒目标，因此如果追求速度优先，建议优先选择7B模型；若对模型能力有更高要求（比如更复杂的代码生成、长文本理解），可接受速度损失的情况下使用13B模型

内容的提问来源于stack exchange，提问作者GbreH