AI 云原生最佳实践列表--容器服务-火山引擎

文档中心

导航

AI 云原生最佳实践列表

最近更新时间：2025.06.08 14:49:15首次发布时间：2025.06.08 14:49:15

推理服务模版（Chart 名称）	模型名称	推理引擎	并行策略	量化技术	支持能力	帮助文档
deepseek-r1-sglang	DeepSeek-R1-671B	SGLang	非 PD 分离	-	GDKV EIC APM VMP APIG	快速部署基于 SGLang 的 DeepSeek-R1 满血版
deepseek-r1-sglang-pd	DeepSeek-R1-671B	SGLang	PD 分离 DP+TP+EP	-	APM VMP APIG	快速部署基于 SGLang 的 DeepSeek-R1 满血版（PD 分离）
deepseek-v3-xllm-pd	DeepSeek-V3-671B	xLLM	PD 分离 DP+TP+EP	-	VMP APIG	快速部署基于 xLLM 的 DeepSeek-V3 满血版（PD 分离）
qwen3-dynamo-vllm-pd	Qwen3-235B-A22B	Dynamo vLLM	PD 分离	-	GDKV EIC APM VMP APIG	快速部署基于 Dynamo 和 vLLM 的 Qwen3-235B （PD 分离）
deepseek-r1-w4afp8-tensorrt-llm	DeepSeek-R1-W4AFP8	TensorRT-LLM	TP+EP	W4A8	APIG	快速部署基于 TensorRT-LLM 的 DeepSeek-R1 满血版