本文介绍 EIC 的产品优势。

• 支持多网格协议
  EIC 支持 TCP 、RDMA 和 GPUDirect RDMA 等多种访问方式，能够支持不同的推理场景及性能需求。
• 半托管融合部署
  数据节点部署在 GPU 本地，统一纳管空闲的内存及 SSD 资源，提供加速服务，降低存储成本。
• 多级缓存
  基于 Namespace 能力做缓存空间的切分，并支持 Namespace 级别的数据沉降、数据回热及数据驱逐能力。
• 兼容推理框架
  兼容 SGLang 和 vLLM 等主流推理框架，提供 C++ 、Python 等多语言SDK，适配推理环节中对 KVCache 的多样化访问需求。