大语言模型推理硬件选择：GPU显存不足时是否选高配置CPU？

一、CPU推理的内存瓶颈与性能短板 #

• 你碰到的内存翻倍问题，确实是fp16转fp32计算导致的：多数普通CPU对fp16的原生支持差，推理框架会自动转成fp32运行，内存占用直接翻倍。如果换用支持fp16的现代多核CPU（比如AMD Zen3/4、Intel 12代及以上），可以强制开启fp16推理，Bloom-7B的内存占用能降到14GB左右，同时速度也会比双核CPU快一大截。
• 双核CPU的并行计算能力太差，才是推理慢的核心原因——哪怕内存足够，双核CPU跑大模型的速度也会远低于GPU，内存瓶颈只是次要问题。

二、GPU推理的显存问题其实有解 #

• 24GB显存的高端N卡（比如RTX 4090）完全能流畅运行Bloom-7B，根本不用怕频繁显存-内存交换：
  • 直接用fp16格式推理，Bloom-7B仅需14GB显存，远低于24GB的上限；
  • 如果要跑更大模型或者叠加其他优化，可以用4bit/8bit量化技术，能把Bloom-7B的显存占用压到7GB左右，而且推理精度损失几乎可以忽略；
  • 就算偶尔显存不够，现在的推理框架（比如Transformers、vLLM）有自动显存管理，交换效率很高，不会严重浪费GPU性能。
• GPU的并行架构天生适配大模型的矩阵运算，哪怕是入门级的12GB显存游戏卡（比如RTX 3060），跑Bloom-7B的速度也会远超顶级CPU。

三、硬件选择的明确建议 #

• 优先选GPU+合适显存：只要显存能容纳fp16或量化后的模型，GPU的推理速度是CPU的数倍甚至数十倍，24GB显存的高端卡完全能覆盖Bloom-7B及更大的7B级模型需求；
• 如果只能用CPU，必须换多核高性能CPU（至少8核）+足够内存，同时强制开启fp16推理，才能获得勉强可用的速度；
• 你当前的双核CPU是最大短板，内存瓶颈可以通过优化解决，但CPU的算力不足是没法靠堆内存弥补的。

内容的提问来源于stack exchange，提问作者rwallace