Serverless GPU 概述

概述

云原生联合 AI，正在加速驱动 AI 应用落地。原有的 AI 计算任务需要固定消耗指定的 GPU 资源，在使用过程中由于任务间的不均衡性，可能导致一些 GPU 资源一直处于空闲状态，承担了较高的未使用资源成本。为解决上述问题，函数服务推出 Serverless GPU 服务，延续服务器无感知计算的理念，高效、低成本地支持 AI 应用的落地。

函数服务通过提供按需分配的弹性 GPU 实例，有效解决长驻 GPU 实例导致的低资源利用率和高成本问题。用户无需提前规划 GPU 资源需求，也无需关心 GPU 资源使用率不均衡导致的 GPU 长时间处于空闲状态，只需为实际使用的 GPU 付费。

使用场景

函数服务当前提供 CPU 实例和 GPU 实例两种选择。传统函数使用 CPU 实例，可支持基础计算场景。GPU 函数使用 GPU 实例，擅长执行高度线程化的并行处理任务（大规模计算任务），适用于 AI 模型推理、AI 模型训练、音视频加速生产、图形图像加速等场景。

使用流程

GPU 函数的基本使用流程如下图所示：

1. 创建 GPU 函数

   基于 GPU 实例，通过容器镜像的方式部署函数。

2. 发布函数

   将函数和配置发布至线上。

3. 事件触发

   支持配置触发器，通过 HTTP(S) 调用或其他事件触发的方式触发函数执行。

4. 监控与日志

   提供丰富的监控指标与日志观测能力，随时掌握函数的运行状态。

使用限制

• 每个火山引擎账号的 GPU 实例配额有限，详情可参见 使用限制。

• 当前仅提供 nvidia-tesla-a10 卡型，仅支持单卡 GPU 实例。

• GPU 实例和 CPU 实例相互独立，函数创建完成后不支持切换。

• GPU 实例的镜像大小限制为 10 GB。