# 产品介绍 [Mobile Use](https://www.volcengine.com/docs/6394/1583515) 是基于**火山引擎云手机**与**豆包视觉大模型**能力，通过自然语言指令完成面向移动端场景自动化任务的 AI Agent 解决方案。目前，Mobile Use Agent 已正式上线火山引擎[函数服务 veFaaS 应用广场](https://console.volcengine.com/vefaas/region:vefaas+cn-beijing/market)，您可以在线免费体验 Mobile Use Agent Demo，也可以开发您的专属 Mobile Use Agent 应用。火山引擎目前提供两种应用开发部署方式： * **方式一：veFaaS 一键部署** 已内置 Agent 服务、MCP Server 和 Web UI，您无需进行任何手动代码部署。 * **方式二：基于开源代码自定义部署** 通过获取 GitHub 上的[开源代码](https://github.com/volcengine/ai-app-lab/blob/main/demohouse/mobile-use/README_zh.md)，进行二次开发后自行部署。适用于有定制化需求的场景。本文主要介绍如何通过函数服务 veFaaS 应用广场快速部署 Mobile Use Agent 应用。此外，本文也为需要深度定制的场景，提供了基于开源代码进行二次开发与部署的详细步骤。 # **关联服务** Mobile Use Agent 由以下核心服务构成： |**关联服务** |**作用** | |---|---| |云手机 |提供 Agent 执行任务所需的 Android 虚拟环境。 | |方舟大模型 |提供视觉识别理解与任务规划的 AI 大模型能力。 | |对象存储 |用于存储云手机在任务执行过程中的屏幕截图。 | |函数服务 |应用的后端服务将作为‘函数’进行部署，由云平台根据请求量自动调度资源并执行。 | |API 网关 |为应用提供一个标准、安全的公网访问入口，并自动与后端函数关联。 | |MCP |[Mobile Use MCP Server](https://github.com/volcengine/mcp-server/tree/main/server/mcp_server_mobile_use) 兼容标准 MCP 协议，提供便捷高效的云手机操作能力，可自动化执行云手机多并发和异步任务。 | # 前提条件为确保部署过程顺利，请在开始前仔细阅读并完成以下准备工作。 ## 必要项 ### 账号相关以下账号相关信息是部署流程中的**必要项**，系统无法为您自动创建。请务必在开始操作前准备就绪，并记录相关信息。 1. **火山引擎账号**： * 已[创建火山引擎账号](https://www.volcengine.com/docs/6261/64925)，并完成[企业实名认证](https://www.volcengine.com/docs/6261/64937)。 * 部署过程会创建新的云资源。为避免因余额不足导致部署失败，请确保您的账户余额**不低于 100 元**。 2. **身份凭证**：准备好您的火山引擎[访问密钥](https://console.volcengine.com/iam/keymanage) **Access Key ID** 和 **Secret Access Key**（**AK/SK**）。 ### 服务相关以下服务是部署流程中必须关联的云服务，您可以在前置准备阶段完成开通，也可以在部署操作过程中，点击关联云服务的快捷开通跳转链接进行开通。 1. **函数服务**：已登录[函数服务控制台](https://console.volcengine.com/vefaas)，根据页面指引开通函数服务。 2. **API 网关**：已登录 [API 网关控制台](https://console.volcengine.com/veapig/region:veapig+cn-beijing/gateway)，根据页面指引开通 API 网关。 3. **云手机实例**： :::warning 云手机服务目前采用白名单邀约制。您需要先完成服务开通，才能进行后续的资源创建。 * 方式一：您可以[提交工单](https://console.volcengine.com/workorder/create?step=2&SubProductID=P00000173)，联系云手机技术支持团队申请开通服务。 * 方式二：您也可在 Agent 创建应用的页面，点击云手机服务旁的 **去开通** 链接，在打开的页面中提交您的信息。云手机技术支持团队将主动联系您，协助完成白名单申请与服务开通。 ::: 服务开通后，登录[云手机控制台](https://console.volcengine.com/ACEP/guide)完成业务和实例的创建。具体操作参见[快速入门步骤二](https://www.volcengine.com/docs/6394/75735#%E6%AD%A5%E9%AA%A4%E4%BA%8C%EF%BC%9A%E8%B4%AD%E4%B9%B0%E8%B5%84%E6%BA%90)。 * 您需要记录所创建的**业务 ID** 和**实例 ID**。 * 云手机业务创建完成后，函数服务创建云手机的授权才会变为 **已开通**。 4. **对象存储桶**：已参考开通对象存储[快速入门步骤一和二](https://www.volcengine.com/docs/6349/74830)开通对象存储服务，完成**对象存储桶 (Bucket)** 创建并记录其名称。 5. **方舟大模型**：已参考[快速入门-调用模型服务](https://www.volcengine.com/docs/82379/1399008?lang=zh)开通模型服务。请选择视觉理解类模型，当前推荐选择 [doubao-1.5-thinking-vision-pro](https://www.volcengine.com/docs/82379/1554521) 以保证最优效果。注意，由于模型迭代频繁，请在对接前咨询技术支持获取当前最推荐使用的模型名称。 ## 可选项如果您计划使用“[自定义配置](https://vsop-online.bytedance.net/doc/manage/detail/6394/reuse/?DocumentID=1670206&lang=zh#zidingyi)”模式，除了上述信息外，您还需额外准备以下信息： 1. **模型资源 API Key**：访问火山方舟平台，提前获取您希望使用的模型资源 [API Key](https://www.volcengine.com/docs/82379/1361424)。 2. **API 网关实例**：如果您希望使用特定的网关，请提前在 API 网关控制台[创建一个 Serverless 类型的实例](https://www.volcengine.com/docs/6569/85693)。 # 操作步骤 1. 登录[函数服务控制台](https://console.volcengine.com/vefaas)。 2. 在顶部导航栏左侧，选择 **华北2（北京）** 地域。 3. 在左侧导航栏选择 **应用** \> **应用广场**。 4. 在 **应用广场** 页面，找到 **Mobile Use | 移动端 AI 智能体应用** 卡片，点击 **创建应用**。 5. 在 **创建应用** 页面，配置应用参数。 * **基础信息** |**配置项** |**说明** | |---|---| |已选模版 |创建应用所使用的配置模板。本场景固定为 **Mobile Use**，无需改动。 | |名称 |根据系统提示的命名规则，自定义应用的名称。您也可以直接使用系统自动生成的应用名称。 | |备注 |（可选）填写当前应用的备注信息。 | |IAM 角色 |应用中心提供了系统默认角色 **ServerlessApplicationRole**，用于授权应用访问其他云资源。|\ | ||\ | |* 如果您的用户角色未包含此角色，将会自动添加该角色。|\ | |* 如果您的用户角色已包含此角色，系统会自动检测该角色是否已包含当前应用需要的所有策略。当缺少相关策略时，控制台会提示需要添加的策略名称，请单击 **添加策略** 进行添加。如果缺少必需策略，请联系主账号或管理员进行授权。具体操作，请参见 [创建用户并授权](https://www.volcengine.com/docs/6257/94013)。|\ | ||\ | |:::warning|\ | ||\ | |* IAM 用户需确保已授权 **IAMReadOnlyAccess** 策略，否则无权限获取 **ServerlessApplicationRole** 角色信息。|\ | |* IAM 用户如需进一步为 **ServerlessApplicationRole** 角色添加策略，需确保已授权 **IAMFullAccess** 策略。|\ | ||\ | |:::| |关联云服务 |展示当前应用需要使用的所有云服务及其开通状态。|\ | |若有服务状态为“暂未授权”，可点击 **去开通** 快捷链接完成服务开通。|\ | |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/62152452a6964139877e7638e845446d~tplv-goo7wpa0wc-image.image =990x) | * **资源配置** ```mixin-react return ( ); ``` 6. 单击 **确定**，开始创建和部署应用。系统将自动跳转至应用详情页面，您可以实时查看应用部署状态和日志。![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_66552a50a99b8bce8f779ecd926a5409.png =967x) :::warning 如遇部署失败，建议优先根据「部署日志」中的错误提示进行排查。无法自行解决的问题请联系相关对接人员获取支持。 ::: # 结果验证 ## 在 Web UI 体验 Agent 1. 待应用状态显示为“部署成功”后，单击 **Web UI 访问入口地址** ，按照提示填入您在【前提条件】中准备好的云手机业务 ID 和实例 ID。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_888811e65cbf0887501486431474e7e9.png =800x) 2. 进入 Mobile Use Agent 应用交互界面，在任务输入框中用自然语言下达指令，观察界面左侧的执行步骤和右侧的云手机屏幕，确认 Agent 是否正确执行了您的任务。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_b521cd113d8c930e1c412469579dcac1.png =800x) :::warning **初始状态的云手机中不预安装任何应用**。请前往云手机控制台或通过 OpenAPI 安装浏览器或应用市场等初始应用，后续应用安装可以在当前应用交互页面通过与 Agent 对话完成。 ::: ## 录制生成提示词在较为复杂的云手机操作任务场景，为了高效无误的匹配任务流程和预期结果，您可以选择录制云手机的操作过程，由 Agent 自动分析视频并生成相匹配的提示词。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_3cc7aecf96abb820376554ec0aae96d5.png =800x) 使用方式： 1. 单击 **录制生成提示词**，阅读 **录制生成提示词** 对话框内容，并单击 **开始录制**。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_72776a352d60789d1effb3e6b9de3a12.png =800x) 2. 在云手机预览界面内完成预期操作。 :::warning 录制时间最长为 2 分钟。 ::: 3. 操作完成后，在预览界面顶部单击 **停止录制**。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_19d9e7e7c8f5ecb383dca06aabacf16c.png =400x) 4. 等待 Agent 分析并生成提示词。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_82a9970d0a6f078dff7066549c893004.png =400x) * 在对话框内可查看 Agent 生成的提示词。如果录制的内容不符合预期，可以在对话框底部单击 **重新录制**。 * 如需查看视频，可在对话框底部单击 **视频文件**，将文件下载到本地进行查看。 * 在对话框底部单击 **填进输入框**，即可将提示词应用于任务对话框。 # 二次开发与部署至此您已通过 veFaaS 一键部署的方式，成功部署了 Mobile Use Agent 的标准应用实例。该实例主要用于快速进行功能验证与基础体验。若当前应用模板无法满足您的特定业务场景，或您需要进行二次开发，我们提供了完整的项目[开源代码](https://github.com/volcengine/ai-app-lab/blob/main/demohouse/mobile-use/README_zh.md)以支持深度定制。完成代码定制后，您可以将其手动部署至火山引擎函数服务，以替换当前由模板创建的应用。 ## 项目代码结构为了实现功能的解耦和开发的灵活性，Mobile Use 的开源项目采用了模块化的架构，由以下三个独立的服务构成。 **Mobile Agent** * **目录**: `/mobile_agent/` * **核心作用**: 驱动整个应用的**核心智能中枢**。负责接收来自前端的用户指令，借助大模型的视觉理解和任务规划能力，将自然语言“翻译”成一系列具体的操作步骤。 **Web Frontend** * **目录**: `/web/` * **核心作用**: 用户与 Agent 进行交互的**门户**。提供浏览器中所有可视化元素，包括聊天输入框、任务执行步骤展示、云手机屏幕流的实时传输、用户身份验证、以及前端页面整体布局等。 **MCP** **Server** * **目录**: `/mobile_use_mcp/` * **核心作用**: **指令执行器**。接收来自 Agent Server 的标准化操作指令，并将其转换为云手机能够理解的底层 API 调用，从而在虚拟安卓环境中完成实际的点、滑、按等动作。 --- ## 部署步骤当您在本地完成源代码的定制化修改后，即可参照以下步骤，将修改后的服务分别打包并部署至函数服务。 ### Agent 服务 1. **进入目录**：在您下载的源代码中，进入 `mobile_agent` 目录。 2. **构建打包**：执行以下命令来运行打包脚本。该操作会将项目打包成一个 `.zip` 压缩包，并以时间戳命名（例如 `mobile-agent-zip-20250707161835.zip`），作为函数服务的代码包。 ```Bash sh build-vefaas.sh ``` 3. **上传代码包**： 1. 登录火山引擎**函数服务**控制台，在您创建的应用中找到对应的 Agent 函数。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_03686ca2cb4167b7d8d8ed7908135d5b.png =942x) 2. 在【代码】页签中点击 **上传** 按钮上传生成的 `.zip` 文件。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_a09a5eca8fc07dfe82820f6327840af2.png =942x) 4. **安装云端依赖**： **（关键步骤）** 上传完成后，请务必点击 **安装依赖** 按钮。平台将根据 `requirements.txt` 文件在云端安装所有 Python 库。 5. **发布新版本**：待依赖安装成功后，点击 **发布** 按钮使改动生效。 ### Web 服务 1. **进入目录**：在您下载的源代码中，进入 `web` 目录。 2. **构建打包**：执行该目录下的 `build-vefaas.sh` 脚本，将您的项目打包成函数服务所需的 `.zip` 压缩包（例如 web.zip）。 ```Bash sh build-vefaas.sh ``` 3. **上传代码包**： 1. 登录火山引擎**函数服务**控制台，在您创建的应用中找到对应的 Agent 函数。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_9c196df6aa80dcbda812672afb4f641c.png =941x) 2. 在【代码】页签中点击 **上传** 按钮上传生成的 `.zip` 文件。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_6ba603a17991e890940f7231b295a0b0.png =941x) :::tip Web 构建脚本基于 Next.js Standalone 特性进行构建，已将所有依赖项打包进压缩包内。因此，与 Agent 服务不同，Web 服务在上传代码包后**无需**在云端安装依赖。 ::: 4. **发布新版本**：待 `.zip` 文件上传成功后，点击 **发布** 按钮使改动生效。 ### MCP 服务 1. **进入目录**：在您下载的源代码中，进入 `mobile_use_mcp` 目录。 2. **构建打包**： 1. 执行该目录下的 `build.sh` 脚本，完成项目构建。 ```Bash ./build.sh ``` 2. 上一步骤将在 `output` 目录下生成名为 `mobile_use_mcp` 的二进制文件。请将该文件压缩为 `.zip` 压缩包。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_8ad3440c6d1c9124d34c294abe5553a2.png) 3. **上传代码包**： 1. 登录火山引擎**函数服务**控制台，在您创建的应用中找到对应的 Agent 函数。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_cb3d03b86fb0715ddd4f63cb04af5e89.png =942x) 2. 在【代码】页签中点击 **上传** 按钮上传生成的 `.zip` 文件。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_dccac0ce1b0052743d688aafdc92553a.png =942x) 4. **发布新版本**：待 `.zip` 文件上传成功后，点击 **发布** 按钮使改动生效。 ## 后续步骤与支持至此，您已成功将自定义修改后的 Agent、Web 及 MCP 服务部署至函数服务，替换了由模板创建的标准化应用实例。您的专属 Mobile Use Agent 应用现已搭载了您定制的功能，请返回应用的 **Web UI 访问入口**，全面测试您的修改是否已生效并符合预期。在后续的开发过程中，您可以持续迭代优化，并重复本文档中介绍的部署步骤来发布新版本。在二次开发与部署过程中，如果遇到任何技术难题或对产品有进一步的建议，请[提交工单](https://console.volcengine.com/workorder/create?step=2&SubProductID=P00000173)联系技术支持。