Mobile Use 是基于火山引擎云手机与豆包视觉大模型能力,通过自然语言指令完成面向移动端场景自动化任务的 AI Agent 解决方案。
目前,Mobile Use Agent 已正式上线火山引擎函数服务 veFaaS 应用广场,您可以在线免费体验 Mobile Use Agent Demo,也可以开发您的专属 Mobile Use Agent 应用。火山引擎目前提供两种应用开发方式:
方式一:VeFaaS 一键部署
已内置 Agent 服务、MCP Server 和 Web UI,您无需进行任何手动代码部署。
方式二:基于开源代码自定义部署
通过获取 GitHub 上的开源代码,进行二次开发后自行部署。适用于有定制化需求的场景。
本文介绍如何在函数服务 VeFaaS 应用广场快速部署您的专属 Mobile Use Agent 应用。
Mobile Use Agent 由以下核心服务构成:
关联服务 | 作用 |
---|---|
云手机 | 提供 Agent 执行任务所需的 Android 虚拟环境。 |
方舟大模型 | 提供视觉识别理解与任务规划的 AI 大模型能力。 |
对象存储 | 用于存储云手机在任务执行过程中的屏幕截图。 |
函数服务 | 应用的后端服务将作为‘函数’进行部署,由云平台根据请求量自动调度资源并执行。 |
API 网关 | 为应用提供一个标准、安全的公网访问入口,并自动与后端函数关联。 |
MCP | Mobile Use MCP Server 兼容标准 MCP 协议,提供便捷高效的云手机操作能力,可自动化执行云手机多并发和异步任务。 |
为确保部署过程顺利,请在开始前仔细阅读并完成以下准备工作。
以下账号相关信息是部署流程中的必要项,系统无法为您自动创建。请务必在开始操作前准备就绪,并记录相关信息。
火山引擎账号:
身份凭证:准备好您的火山引擎访问密钥 Access Key ID 和 Secret Access Key(AK/SK)。
以下服务是部署流程中必须关联的云服务,推荐您在前置准备阶段完成开通,您也可以在部署操作过程中,点击关联云服务的快捷开通跳转链接进行开通。
函数服务:已登录函数服务控制台,根据页面指引开通函数服务。
API 网关:已登录 API 网关控制台,根据页面指引开通 API 网关。
云手机实例:
注意
云手机服务目前采用白名单邀约制。您需要先完成服务开通,才能进行后续的资源创建。
云手机服务开通后,请参考云手机快速入门步骤二完成业务和实例的创建,并记录您所创建的业务 ID 和实例 ID。
对象存储桶:已参考开通对象存储快速入门步骤一和二开通对象存储服务,完成对象存储桶 (Bucket) 创建并记录其名称。
方舟大模型:已参考快速入门-调用模型服务开通模型服务。请选择视觉理解类模型,如 doubao-1.5-vision-pro 或 doubao-1.5-ui-tars。注意,由于模型迭代频繁,请在对接前咨询技术支持获取当前最推荐使用的模型名称。
如果您计划使用“自定义配置”模式,除了上述信息外,您还需额外准备以下信息:
模型资源 API Key:访问火山方舟平台,提前获取您希望使用的模型资源 API Key。
API 网关实例:如果您希望使用特定的网关,请提前在 API 网关控制台创建一个 Serverless 类型的实例。
登录函数服务控制台。
在顶部导航栏左侧,选择 华北2(北京) 地域。
在左侧导航栏选择 应用 > 应用广场。
在 应用广场 页面,找到 Mobile Use | 移动端 AI 智能体应用 卡片,点击 创建应用。
在 创建应用 页面,配置应用参数。
配置项 | 说明 |
---|---|
已选模版 | 创建应用所使用的配置模板。本场景固定为 Mobile Use,无需改动。 |
名称 | 根据系统提示的命名规则,自定义应用的名称。您也可以直接使用系统自动生成的应用名称。 |
备注 | (可选)填写当前应用的备注信息。 |
IAM 角色 | 应用中心提供了系统默认角色 ServerlessApplicationRole,用于授权应用访问其他云资源。
注意
|
关联云服务 | 展示当前应用需要使用的所有云服务及其开通状态。 |
此模式将为您自动创建和关联资源,提供最简化的部署体验。
配置项 | 说明 |
---|---|
Agent 配置 | |
地域 | 展示当前应用及关联云资源所在的地域。 |
函数名称 | 根据系统提示的命名规则,自定义函数的名称。您也可以直接使用系统自动生成的函数名称。 |
API 访问密钥 | 填入您在前提条件中准备好的火山引擎 AK/SK。也可根据页面提示前往对应位置获取。 |
存储桶 | 填入您在前提条件中准备好的对象存储桶名称。若尚未创建存储桶,可根据页面提示前往对象存储控制台创建。 |
单击 确定,开始创建和部署应用。
系统将自动跳转至应用详情页面,您可以实时查看应用部署状态和日志。
注意
如遇部署失败,建议优先根据「部署日志」中的错误提示进行排查。无法自行解决的问题请联系相关对接人员获取支持。
待应用状态显示为“部署成功”后,单击 Web UI 访问入口地址 ,按照提示填入您在【前提条件】中准备好的云手机业务 ID 和 实例 ID。
进入 Mobile Use Agent 应用交互界面,在任务输入框中用自然语言下达指令,观察界面左侧的执行步骤和右侧的云手机屏幕,确认 Agent 是否正确执行了您的任务。
注意
初始状态的云手机中不预安装任何应用。请前往云手机控制台或通过 OpenAPI 安装浏览器或应用市场等初始应用,后续应用安装可以在当前应用交互页面通过与 Agent 对话完成。
至此您已通过 VeFaaS 一键部署的方式,成功部署了 Mobile Use Agent 的标准应用实例。该实例主要用于快速进行功能验证与基础体验。
若当前应用模板无法满足您的特定业务场景,或您需要进行二次开发,我们提供了完整的项目开源代码以支持深度定制。请访问 Mobile Use 项目开源仓库 获取 Agent 源代码及相关开发文档。完成代码定制后,您可以将其手动部署至火山引擎函数服务,以替换当前由模板创建的应用。