AI 云原生推理套件（ServingKit）依托字节跳动大规模 AI 实践，支持企业在大规模 GPU 集群上高效、稳定、高性价比地运行主流的推理模型。 ## 套件介绍 ServingKit 融合字节跳动大规模 AI 实践与火山方舟海量业务经验，通过容器编排、AI 网关、推理全链路观测及分布式缓存四大核心能力，助力企业在大规模 GPU 集群上，以高性价比实现主流推理模型的高效、稳定运行，全面覆盖文生文、文生图、图生视频等多元推理场景。 ## 套件优势 * **丰富推理框架兼容：** 深度适配 vLLM/SGLang/Dynamo 等主流推理引擎和框架，率先支持 PD（Prefill\-Decode）分离架构，提升推理效率。突破用户自建 ComfyUI 的算力瓶颈，解决算力贵、利用率低的问题，以更优性价比更好地利用算力。 * **模型极速启动：** 基于 P2P 技术和模型加载工具，实现百台 GPU 分钟级部署 DeepSeek\-R1\-671B 完整模型，极大缩短了模型部署时间。 * **推理性能增强：** 针对主流推理引擎和 GPU 卡型进行算子优化等性能优化手段。在文本生成场景实现 DeepSeek\-R1 模型推理吞吐提升 1~3 倍；在生视频场景下端到端耗时缩短 100 倍。 * **全链路推理观测：** 推理全链路透明埋点，全方位覆盖 AI 推理引擎观测指标，推理问题分钟级精准定位。 ## 名词解释 ### PD 分离与 PD 共置 * **PD 分离**：将推理过程分为两阶段，部署于不同硬件资源上，以提高资源利用率和推理性能。 * Prefill（预填充）：计算密集型阶段。 * Decode（解码）：显存密集型阶段。 * **PD 共置**：即非 PD 分离架构，是 Prefill 和 Decode 两个阶段在同一组 GPU 上混合部署，没有明确区分 Prefill 和 Decode 的服务集群。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_64e8bae9394241ce75805312e3b49370.png =985x) ### Oniond + GDKV 模型加载加速 * Oniond：模型下载器，实现免 API 访问密钥（AKSK）进行模型快速分发。 * GDKV：基于 RDMA（Remote Direct Memory Access）+ GPU Direct RDMA（GDR）的高性能 KV 数据库（Key\-Value Database），实现模型文件到 GPU 显存的极速加载。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_f663fb5e7026f23a6ce3ad9abc14c483.png =986x) ### ComfyUI 插件火山引擎增强版 ComfyUI 作为 AIGC 领域主流开源工具，通过集成 ServingKit 插件，在不影响其原生使用的前提下，为 FLUX.1 、FLUX\-kontext、Wan2.2 等主流模型提供并行推理、量化、Cache 等推理提速能力，可使图片生成时间缩短 2 倍以上，视频总生成时长时间缩短 100 倍。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_1815bbc4ec49a7dbe3cddfe77f4bc350.png =983x) ### Openvefuser 插件火山引擎自研 Openvefuser 插件，轻量化集成 ComfyUI 服务，优化范围覆盖编译、算子、Cache、量化、并行、Offload、蒸馏等各项大模型技术范围。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_f46d3314cb691cf5cfc860460bf6f9cf.png =985x) ### KV Cache KV Cache 是大语言模型推理等场景一种用于存储和快速检索键值对数据的缓存机制。ServingKit 基于 [弹性极速缓存（EIC）](https://www.volcengine.com/docs/85848/1749188)为 AI 推理应用提供高性能分布式 KV Cache 缓存服务。

容器服务