You need to enable JavaScript to run this app.
云手机

云手机

请输入
  • 文档首页
    • 云手机Mobile UseMobile Use Agent 快速部署指南
复制全文
我的收藏
Mobile Use
Mobile Use Agent 快速部署指南
复制全文
我的收藏
Mobile Use Agent 快速部署指南

本文主要介绍如何通过函数服务 veFaaS 应用广场快速部署 Mobile Use Agent 应用。此外，本文也为需要深度定制的场景，提供了基于开源代码进行二次开发与部署的详细步骤。

产品介绍

Mobile Use 是基于火山引擎云手机与豆包视觉大模型能力，通过自然语言指令完成面向移动端场景自动化任务的 AI Agent 解决方案。
目前，Mobile Use Agent 已正式上线火山引擎函数服务 veFaaS 应用广场，您可以在线免费体验 Mobile Use Agent Demo，也可以开发您的专属 Mobile Use Agent 应用。火山引擎目前提供两种应用开发部署方式：

  • 方式一：veFaaS 一键部署
    已内置 Agent 服务、MCP Server 和 Web UI，您无需进行任何手动代码部署。
  • 方式二：基于开源代码自定义部署
    通过获取 GitHub 上的开源代码，进行二次开发后自行部署。适用于有定制化需求的场景。

说明

您可以在指定项目中快速集成 Mobile Use SDK，无需关注 Agent 实现细节即可对 Mobile Use Agent 通过自然语言指令下发任务并获取任务执行结果。详细介绍请参见Mobile Use SDK 使用指南。

关联服务

Mobile Use Agent 由以下核心服务构成：

关联服务

作用

云手机

提供 Agent 执行任务所需的 Android 虚拟环境。

方舟大模型

提供视觉识别理解与任务规划的 AI 大模型能力。

对象存储

用于存储云手机在任务执行过程中的屏幕截图。

函数服务

应用的后端服务将作为‘函数’进行部署，由云平台根据请求量自动调度资源并执行。

API 网关

为应用提供一个标准、安全的公网访问入口，并自动与后端函数关联。

MCP

Mobile Use MCP Server 兼容标准 MCP 协议，提供便捷高效的云手机操作能力，可自动化执行云手机多并发和异步任务。

前提条件

为确保部署过程顺利，请在开始前仔细阅读并完成以下准备工作。

必要项

账号相关

以下账号相关信息是部署流程中的必要项，系统无法为您自动创建。请务必在开始操作前准备就绪，并记录相关信息。

  1. 火山引擎账号：
  2. 身份凭证：准备好您的火山引擎访问密钥 Access Key ID 和 Secret Access Key（AK/SK）。

服务相关

以下服务是部署流程中必须关联的云服务，您可以在前置准备阶段完成开通，也可以在部署操作过程中，点击关联云服务的快捷开通跳转链接进行开通。

  1. 函数服务：已登录函数服务控制台，根据页面指引开通函数服务。
  2. API 网关：已登录 API 网关控制台，根据页面指引开通 API 网关。
  3. 云手机实例：登录云手机控制台完成业务和实例的创建。具体操作参见快速入门步骤二。

    说明

    创建云手机资源期间如遇问题请提交工单。

    • 您需要记录所创建的业务 ID 和实例 ID。
    • 云手机业务创建完成后，函数服务创建云手机的授权才会变为 已开通。
  4. 对象存储桶：已参考开通对象存储快速入门步骤一和二开通对象存储服务，完成对象存储桶 (Bucket) 创建并记录其名称。
  5. 方舟大模型：已参考快速入门-调用模型服务开通模型服务。请选择视觉理解类模型，当前推荐选择 doubao-1.5-thinking-vision-pro 以保证最优效果。注意，由于模型迭代频繁，请在对接前咨询技术支持获取当前最推荐使用的模型名称。

可选项

如果您计划使用“自定义配置”模式，除了上述信息外，您还需额外准备以下信息：

  1. 模型资源 API Key：访问火山方舟平台，提前获取您希望使用的模型资源 API Key。
  2. API 网关实例：如果您希望使用特定的网关，请提前在 API 网关控制台创建一个 Serverless 类型的实例。

操作步骤
  1. 登录函数服务控制台。
  2. 在顶部导航栏左侧，选择 华北2（北京） 地域。
  3. 在左侧导航栏选择 应用 > 应用广场。
  4. 在 应用广场 页面，找到 Mobile Use | 移动端 AI 智能体应用 卡片，点击 创建应用。
  5. 在 创建应用 页面，配置应用参数。
  • 基础信息

配置项

说明

已选模版

创建应用所使用的配置模板。本场景固定为 Mobile Use，无需改动。

名称

根据系统提示的命名规则，自定义应用的名称。您也可以直接使用系统自动生成的应用名称。

备注

（可选）填写当前应用的备注信息。

IAM 角色

应用中心提供了系统默认角色 ServerlessApplicationRole，用于授权应用访问其他云资源。

  • 如果您的用户角色未包含此角色，将会自动添加该角色。
  • 如果您的用户角色已包含此角色，系统会自动检测该角色是否已包含当前应用需要的所有策略。当缺少相关策略时，控制台会提示需要添加的策略名称，请单击 添加策略 进行添加。如果缺少必需策略，请联系主账号或管理员进行授权。具体操作，请参见 创建用户并授权。

注意

  • IAM 用户需确保已授权 IAMReadOnlyAccess 策略，否则无权限获取 ServerlessApplicationRole 角色信息。
  • IAM 用户如需进一步为 ServerlessApplicationRole 角色添加策略，需确保已授权 IAMFullAccess 策略。

关联云服务

展示当前应用需要使用的所有云服务及其开通状态。
若有服务状态为“暂未授权”，可点击 去开通 快捷链接完成服务开通。
Image

  • 资源配置

此模式将为您自动创建和关联资源，提供最简化的部署体验。

配置项说明
Agent 配置
地域展示当前应用及关联云资源所在的地域。
函数名称根据系统提示的命名规则，自定义函数的名称。您也可以直接使用系统自动生成的函数名称。
API 访问密钥填入您在前提条件中准备好的火山引擎 AK/SK。也可根据页面提示前往对应位置获取。
存储桶填入您在前提条件中准备好的对象存储桶名称。若尚未创建存储桶，可根据页面提示前往对象存储控制台创建。
  1. 单击 确定，开始创建和部署应用。
    系统将自动跳转至应用详情页面，您可以实时查看应用部署状态和日志。
    Image

注意

如遇部署失败，建议优先根据「部署日志」中的错误提示进行排查。无法自行解决的问题请联系相关对接人员获取支持。

结果验证

在 Web UI 体验 Agent

  1. 待应用状态显示为“部署成功”后，单击 Web UI 访问入口地址 ，按照提示填入您在【前提条件】中准备好的云手机业务 ID 和 实例 ID。
    Image
  2. 进入 Mobile Use Agent 应用交互界面，在任务输入框中用自然语言下达指令，观察界面左侧的执行步骤和右侧的云手机屏幕，确认 Agent 是否正确执行了您的任务。
    Image

    注意

    初始状态的云手机中不预安装任何应用。请前往云手机控制台或通过 OpenAPI 安装浏览器或应用市场等初始应用，后续应用安装可以在当前应用交互页面通过与 Agent 对话完成。

录制生成提示词

在较为复杂的云手机操作任务场景，为了高效无误的匹配任务流程和预期结果，您可以选择录制云手机的操作过程，由 Agent 自动分析视频并生成相匹配的提示词。
Image
使用方式：

  1. 单击 录制生成提示词，阅读 录制生成提示词 对话框内容，并单击 开始录制。
    Image
  2. 在云手机预览界面内完成预期操作。

    注意

    录制时间最长为 2 分钟。

  3. 操作完成后，在预览界面顶部单击 停止录制。
    Image
  4. 等待 Agent 分析并生成提示词。
    Image
    • 在对话框内可查看 Agent 生成的提示词。如果录制的内容不符合预期，可以在对话框底部单击 重新录制。
    • 如需查看视频，可在对话框底部单击 视频文件，将文件下载到本地进行查看。
    • 在对话框底部单击 填进输入框，即可将提示词应用于任务对话框。

二次开发与部署

至此您已通过 veFaaS 一键部署的方式，成功部署了 Mobile Use Agent 的标准应用实例。该实例主要用于快速进行功能验证与基础体验。
若当前应用模板无法满足您的特定业务场景，或您需要进行二次开发，我们提供了完整的项目开源代码以支持深度定制。完成代码定制后，您可以将其手动部署至火山引擎函数服务，以替换当前由模板创建的应用。

项目代码结构

为了实现功能的解耦和开发的灵活性，Mobile Use 的开源项目采用了模块化的架构，由以下三个独立的服务构成。
Mobile Agent

  • 目录: /mobile_agent/
  • 核心作用: 驱动整个应用的核心智能中枢。负责接收来自前端的用户指令，借助大模型的视觉理解和任务规划能力，将自然语言“翻译”成一系列具体的操作步骤。

Web Frontend

  • 目录: /web/
  • 核心作用: 用户与 Agent 进行交互的门户。提供浏览器中所有可视化元素，包括聊天输入框、任务执行步骤展示、云手机屏幕流的实时传输、用户身份验证、以及前端页面整体布局等。

MCP Server

  • 目录: /mobile_use_mcp/
  • 核心作用: 指令执行器。接收来自 Agent Server 的标准化操作指令，并将其转换为云手机能够理解的底层 API 调用，从而在虚拟安卓环境中完成实际的点、滑、按等动作。

部署步骤

当您在本地完成源代码的定制化修改后，即可参照以下步骤，将修改后的服务分别打包并部署至函数服务。

Agent 服务

  1. 进入目录：在您下载的源代码中，进入 mobile_agent 目录。

  2. 构建打包：执行以下命令来运行打包脚本。该操作会将项目打包成一个 .zip 压缩包，并以时间戳命名（例如 mobile-agent-zip-20250707161835.zip），作为函数服务的代码包。

    sh build-vefaas.sh

  3. 上传代码包：

    1. 登录火山引擎函数服务控制台，在您创建的应用中找到对应的 Agent 函数。
      Image
    2. 在【代码】页签中点击 上传 按钮上传生成的 .zip 文件。
      Image

  4. 安装云端依赖：（关键步骤） 上传完成后，请务必点击 安装依赖 按钮。平台将根据 requirements.txt 文件在云端安装所有 Python 库。

  5. 发布新版本：待依赖安装成功后，点击 发布 按钮使改动生效。

Web 服务

  1. 进入目录：在您下载的源代码中，进入 web 目录。

  2. 构建打包：执行该目录下的 build-vefaas.sh 脚本，将您的项目打包成函数服务所需的 .zip 压缩包（例如 web.zip）。

    sh build-vefaas.sh

  3. 上传代码包：

    1. 登录火山引擎函数服务控制台，在您创建的应用中找到对应的 Agent 函数。
      Image
    2. 在【代码】页签中点击 上传 按钮上传生成的 .zip 文件。
      Image

说明

Web 构建脚本基于 Next.js Standalone 特性进行构建，已将所有依赖项打包进压缩包内。因此，与 Agent 服务不同，Web 服务在上传代码包后无需在云端安装依赖。

  1. 发布新版本：待 .zip 文件上传成功后，点击 发布 按钮使改动生效。

MCP 服务

  1. 进入目录：在您下载的源代码中，进入 mobile_use_mcp 目录。
  2. 构建打包：

    1. 执行该目录下的 build.sh 脚本，完成项目构建。

      ./build.sh

    2. 上一步骤将在 output 目录下生成名为 mobile_use_mcp 的二进制文件。请将该文件压缩为 .zip 压缩包。
      Image

  3. 上传代码包：
    1. 登录火山引擎函数服务控制台，在您创建的应用中找到对应的 Agent 函数。
      Image
    2. 在【代码】页签中点击 上传 按钮上传生成的 .zip 文件。
      Image
  4. 发布新版本：待 .zip 文件上传成功后，点击 发布 按钮使改动生效。

后续步骤与支持

至此，您已成功将自定义修改后的 Agent、Web 及 MCP 服务部署至函数服务，替换了由模板创建的标准化应用实例。您的专属 Mobile Use Agent 应用现已搭载了您定制的功能，请返回应用的 Web UI 访问入口，全面测试您的修改是否已生效并符合预期。在后续的开发过程中，您可以持续迭代优化，并重复本文档中介绍的部署步骤来发布新版本。
在二次开发与部署过程中，如果遇到任何技术难题或对产品有进一步的建议，请提交工单联系技术支持。

最近更新时间：2025.09.29 15:41:42
这个页面对您有帮助吗？
有用
有用
无用
无用