You need to enable JavaScript to run this app.
导航
Mobile Use Agent 产品介绍与快速部署指南
最近更新时间:2025.07.04 18:05:06首次发布时间:2025.07.04 17:38:48
我的收藏
有用
有用
无用
无用
产品介绍

Mobile Use 是基于火山引擎云手机豆包视觉大模型能力,通过自然语言指令完成面向移动端场景自动化任务的 AI Agent 解决方案。
目前,Mobile Use Agent 已正式上线火山引擎函数服务 veFaaS 应用广场,您可以在线免费体验 Mobile Use Agent Demo,也可以开发您的专属 Mobile Use Agent 应用。火山引擎目前提供两种应用开发方式:

  • 方式一:VeFaaS 一键部署
    已内置 Agent 服务、MCP Server 和 Web UI,您无需进行任何手动代码部署。

  • 方式二:基于开源代码自定义部署
    通过获取 GitHub 上的开源代码,进行二次开发后自行部署。适用于有定制化需求的场景。

本文介绍如何在函数服务 VeFaaS 应用广场快速部署您的专属 Mobile Use Agent 应用。

关联服务

Mobile Use Agent 由以下核心服务构成:

关联服务作用
云手机提供 Agent 执行任务所需的 Android 虚拟环境。
方舟大模型提供视觉识别理解与任务规划的 AI 大模型能力。
对象存储用于存储云手机在任务执行过程中的屏幕截图。
函数服务应用的后端服务将作为‘函数’进行部署,由云平台根据请求量自动调度资源并执行。
API 网关为应用提供一个标准、安全的公网访问入口,并自动与后端函数关联。
MCPMobile Use MCP Server 兼容标准 MCP 协议,提供便捷高效的云手机操作能力,可自动化执行云手机多并发和异步任务。
前提条件

为确保部署过程顺利,请在开始前仔细阅读并完成以下准备工作。

必要项

账号相关

以下账号相关信息是部署流程中的必要项,系统无法为您自动创建。请务必在开始操作前准备就绪,并记录相关信息。

  1. 火山引擎账号

  2. 身份凭证:准备好您的火山引擎访问密钥 Access Key IDSecret Access KeyAK/SK)。

服务相关

以下服务是部署流程中必须关联的云服务,推荐您在前置准备阶段完成开通,您也可以在部署操作过程中,点击关联云服务的快捷开通跳转链接进行开通。

  1. 函数服务:已登录函数服务控制台,根据页面指引开通函数服务。

  2. API 网关:已登录 API 网关控制台,根据页面指引开通 API 网关。

  3. 云手机实例

    注意

    云手机服务目前采用白名单邀约制。您需要先完成服务开通,才能进行后续的资源创建。

    • 方式一:您可以提交工单,联系云手机技术支持团队申请开通服务。
    • 方式二:您也可在 Agent 创建应用的页面,点击云手机服务旁的 去开通 链接,在打开的页面中提交您的信息。云手机技术支持团队将主动联系您,协助完成白名单申请与服务开通。

    云手机服务开通后,请参考云手机快速入门步骤二完成业务和实例的创建,并记录您所创建的业务 ID实例 ID

  4. 对象存储桶:已参考开通对象存储快速入门步骤一和二开通对象存储服务,完成对象存储桶 (Bucket) 创建并记录其名称。

  5. 方舟大模型:已参考快速入门-调用模型服务开通模型服务。请选择视觉理解类模型,如 doubao-1.5-vision-prodoubao-1.5-ui-tars。注意,由于模型迭代频繁,请在对接前咨询技术支持获取当前最推荐使用的模型名称。

可选项

如果您计划使用“自定义配置”模式,除了上述信息外,您还需额外准备以下信息:

  1. 模型资源 API Key:访问火山方舟平台,提前获取您希望使用的模型资源 API Key

  2. API 网关实例:如果您希望使用特定的网关,请提前在 API 网关控制台创建一个 Serverless 类型的实例

操作步骤
  1. 登录函数服务控制台

  2. 在顶部导航栏左侧,选择 华北2(北京) 地域。

  3. 在左侧导航栏选择 应用 > 应用广场

  4. 应用广场 页面,找到 Mobile Use | 移动端 AI 智能体应用 卡片,点击 创建应用

  5. 创建应用 页面,配置应用参数。

  • 基础信息

配置项

说明

已选模版

创建应用所使用的配置模板。本场景固定为 Mobile Use,无需改动。

名称

根据系统提示的命名规则,自定义应用的名称。您也可以直接使用系统自动生成的应用名称。

备注

(可选)填写当前应用的备注信息。

IAM 角色

应用中心提供了系统默认角色 ServerlessApplicationRole,用于授权应用访问其他云资源。

  • 如果您的用户角色未包含此角色,将会自动添加该角色。
  • 如果您的用户角色已包含此角色,系统会自动检测该角色是否已包含当前应用需要的所有策略。当缺少相关策略时,控制台会提示需要添加的策略名称,请单击 添加策略 进行添加。如果缺少必需策略,请联系主账号或管理员进行授权。具体操作,请参见 创建用户并授权

注意

  • IAM 用户需确保已授权 IAMReadOnlyAccess 策略,否则无权限获取 ServerlessApplicationRole 角色信息。
  • IAM 用户如需进一步为 ServerlessApplicationRole 角色添加策略,需确保已授权 IAMFullAccess 策略。

关联云服务

展示当前应用需要使用的所有云服务及其开通状态。
若有服务状态为“暂未授权”,可点击 去开通 快捷链接完成服务开通。
Image

  • 资源配置

此模式将为您自动创建和关联资源,提供最简化的部署体验。

配置项说明
Agent 配置
地域展示当前应用及关联云资源所在的地域。
函数名称根据系统提示的命名规则,自定义函数的名称。您也可以直接使用系统自动生成的函数名称。
API 访问密钥填入您在前提条件中准备好的火山引擎 AK/SK。也可根据页面提示前往对应位置获取。
存储桶填入您在前提条件中准备好的对象存储桶名称。若尚未创建存储桶,可根据页面提示前往对象存储控制台创建。
  1. 单击 确定,开始创建和部署应用。

    系统将自动跳转至应用详情页面,您可以实时查看应用部署状态和日志。

注意

如遇部署失败,建议优先根据「部署日志」中的错误提示进行排查。无法自行解决的问题请联系相关对接人员获取支持。

结果验证
  1. 待应用状态显示为“部署成功”后,单击 Web UI 访问入口地址 ,按照提示填入您在【前提条件】中准备好的云手机业务 ID 和 实例 ID。

  2. 进入 Mobile Use Agent 应用交互界面,在任务输入框中用自然语言下达指令,观察界面左侧的执行步骤和右侧的云手机屏幕,确认 Agent 是否正确执行了您的任务。

注意

初始状态的云手机中不预安装任何应用。请前往云手机控制台或通过 OpenAPI 安装浏览器或应用市场等初始应用,后续应用安装可以在当前应用交互页面通过与 Agent 对话完成。

后续步骤

至此您已通过 VeFaaS 一键部署的方式,成功部署了 Mobile Use Agent 的标准应用实例。该实例主要用于快速进行功能验证与基础体验。
若当前应用模板无法满足您的特定业务场景,或您需要进行二次开发,我们提供了完整的项目开源代码以支持深度定制。请访问 Mobile Use 项目开源仓库 获取 Agent 源代码及相关开发文档。完成代码定制后,您可以将其手动部署至火山引擎函数服务,以替换当前由模板创建的应用。