本文介绍 EIC 的应用场景。

• 大模型文生文推理
  EIC 提供高性能可扩展的缓存空间，应对 Prefill 及 Decode 环节海量 KVCache 的存储需要，减少文生文推理中相同 token 的重复计算，降低推理 GPU 资源消耗。
• 大模型多模态推理
  EIC 提供高性能可扩展的缓存空间，在文生图/文生视频等多模态推理场景，应对批量生成多张图片或处理长序列视频帧数据时的高并发负载需求。
• 广告推荐
  针对搜广推场景，提供大容量和高性能的 KV Cache 服务，在节省推荐算力成本的同时，也通过 GDR 实现零拷贝，有效降低推荐时延，提升推荐使用体验。