Mixtral 8x7B部署性能咨询：双H100 PCIe并发请求性能骤降

一、并发性能下降是否正常？ #

• 并发超10个后token生成速度下降：有一定合理性，但双H100的表现不该这么拉胯。Mixtral 8x7B FP16单卡占14-16GB显存，双卡开张量并行的话，理论上能承载更多并发。10个并发就降速，大概率是部署配置没拉满或者硬件利用率没上去。
• 50并发下吞吐量普遍低：如果没做合理的并行配置、调度优化，这个现象可能出现，但H100的算力没被充分利用的话，绝对是异常情况。
• AWQ量化模型单请求吞吐量极差：这明显不对劲，AWQ量化本来就是为了提速推理，单请求慢说明量化模型的加载或者vLLM的适配出了问题。

二、部署配置排查要点 #

• 张量并行配置：必须确认启动命令加了--tensor-parallel-size 2，双H100不开张量并行的话，模型只会加载到单卡上，另一张卡完全闲置，显存和算力都浪费，并发上去必然降速。
• AWQ模型加载问题：检查启动命令是否指定了--quantization awq，且用的是casperhansen/mixtral-instruct-awq的正确版本。如果加载时没正确识别量化参数，模型会以非量化方式运行，反而因为额外的量化操作拖慢速度。
• dtype参数无影响：原模型FP16下，--dtype half本来就是默认值，所以加不加没变化是正常的，不用纠结这个。
• 显存利用率检查：看nvidia-smi的显存占用，如果两张卡的显存占用差距大，说明张量并行没生效；如果总显存占用远低于H100的80GB（PCIe版），说明并发队列没喂饱，或者调度策略有问题。
• vLLM调度参数：尝试调整--max-num-batched-tokens（比如设为4096或8192）、--max-model-len（匹配模型上下文长度），这些参数直接影响批处理效率，进而决定并发吞吐量。

三、生产级并发的硬件需求参考 #

• 10-20个并发请求：双H100 PCIe（FP16+张量并行）完全够用，优化配置后token生成延迟能稳定在100ms以内，用户体验不会受影响。
• 50个并发请求：要稳定维持高吞吐量的话，建议：
  • 用FP16模型：至少4张H100 PCIe（张量并行+流水线并行），或者2张H100 SXM（显存带宽更高，更适合高并发场景）。
  • 用量化模型（AWQ/GPTQ）：双H100 PCIe优化配置后可勉强承载，但必须确保量化正确加载，同时调优批处理参数。
• 100+并发请求：需要8张H100组成集群，结合vLLM的分布式推理能力，再配合负载均衡器做请求调度。

内容的提问来源于stack exchange，提问作者fmartinac