You need to enable JavaScript to run this app.
导航
Mobile Use 解决方案
最近更新时间:2025.06.13 14:35:20首次发布时间:2025.06.09 15:50:06
我的收藏
有用
有用
无用
无用

Mobile Use 是基于火山引擎云手机与豆包视觉识别大模型能力,通过自然语言指令完成面向移动端场景自动化任务的 AI Agent 解决方案。

方案优势

Mobile Use 是行业首发 Mobile AI infra 到 agent 的完整 All-In-One 解决方案

  • 「视觉+指令」双驱动:区别于纯视觉方案,Mobile Use MCP 封装云手机 API 与屏幕触控操作,实现更精准快速的任务执行,覆盖传统视觉方案无法触达的复杂场景。
  • 云手机环境隔离:AI 任务全程在云端手机环境执行,任务运行期间不中断本机任何操作,且不占用用户本机资源。
  • 环境适配与系统定制能力:摆脱本机系统权限限制,同时支持根据业务需求定制专属系统环境,适配更多复杂场景。
  • 全平台跨端支持:兼容 PC 端(Web/Mac/Windows)与移动端(Android/iOS)全平台,实现跨设备无缝协同。
  • 高并发任务处理能力:支持用户终端侧利用多个云手机环境,实现多任务同步运行,告别串行等待模式,大幅提升效率。
  • 全链路隐私安全保障:集成 Jeddak AICC 解决方案,对用户隐私数据的存储、传输、计算全流程进行加密保护。

效果展示

体验入口

你可直接访问 Web Demo 快速体验。

体验说明

  1. 出于安全合规要求,进行 Demo 体验前,请仔细阅读 Mobile Use Agent 体验版用户协议,勾选同意协议内容后,点击 立即体验 ,即可进入体验界面。
  2. 使用自然语言输入希望 Mobile Use 完成的任务。可参考页面的快捷任务提示,也可自由体验其他应用场景。
  3. 页面右侧云手机画面将完整展示任务执行过程,请保持关注并核实每一步操作行为。
  4. (可选)体验过程中如果有任何疑问、意见或建议,欢迎点击“问卷反馈”进行反馈。

产品架构

alt

产品采用分层设计:

  • Agent 交互层:

    面向用户的智能交互层,提供自然语言交互和任务编排能力:

    • Mobile Use Agent Demo:免费快速体验 Mobile Use Agent 执行能力,支持多端试用

    • Mobile Use MCP:面向 Agent 任务预集成云手机常用工具,兼容标准 MCP 协议

    • Mobile Use 代码框架:支持使用示例代码快速搭建 Mobile Use Agent 并添加业务逻辑

  • PaaS 调度层:

    提供中间件服务和智能调度能力,连接底层资源与上层应用:

    • 智能调度:智能分配云手机资源,支持多任务并行执行和队列管理

    • 模型服务:集成方舟大模型服务,提供视觉理解、自然语言处理等 AI 能力

    • 流媒体服务:实现云手机画面的实时传输和远程控制

    • 监控运维:全链路监控系统状态,提供日志记录、性能分析和故障诊断

  • IaaS 资源层:

    作为整个方案的基础设施层,提供稳定可靠的计算和存储资源:

    • 云手机集群:基于火山引擎云原生架构,提供海量 ARM 虚拟机资源池

    • 弹性计算:根据任务负载自动扩缩容,保证高并发场景下的资源供给

    • 网络基础:提供低延迟、高带宽的网络连接,确保实时交互体验

    • 存储服务:集成 TOS 对象存储,提供海量数据存储和快速访问能力

    • 安全隔离:每个云手机实例独立运行,确保任务间的安全隔离和数据保护

技术架构

alt

以 “用户让云手机打开某 APP 并点击按钮” 为例,本方案的工作原理如下:

  1. 用户指令输入:通过 “Agent 对话聊天” 发送自然语言(如 “帮我打开 xxx APP”)。
  2. 指令传输:经火山 APIG 网关,将指令转发到 Mobile Use Agent Service。
  3. 智能决策
    • Prompt 模块构建提示词,结合 Memory 的上下文(如历史任务),将指令转化为 LLM 可处理的格式。
    • 多模态 LLM 解析指令,生成 “打开 APP→点击按钮” 的操作逻辑。
  4. 操作调度
    • MCP tool Call 调用 MCP 接口,将操作逻辑转化为具体指令。
    • Pod Scheduler 分配可用的云手机实例,MCP 向该实例下发操作指令。
  5. 执行与反馈
    • 云手机 PaaS 执行操作(打开 APP、模拟点击),并通过 “串流信息下发” 将实时画面回传到前端 “云手机串流画面”。
    • 操作结果(成功 / 失败、界面变化)经 Agent 对话聊天反馈给用户。

使用场景

业务场景客户类型典型场景举例
方案优势

通用/垂直领域 Agent 开发

AI 应用开发商、互联网平台、垂直行业 SaaS 服务提供商

  • 手机端通用智能助手

  • 车机端智能助手

  • 电商类客户期望开发智能购物助手应用

  • 出行软件类客户期望开发智能规划助手应用

帮助客户快速构建具备实际执行能力的 AI 助手产品,无需逐一对接各平台 MCP

  • 多平台数据数据整合:自动从电商、出行、本地服务等多个 APP 收集信息进行比较

  • 智能决策引擎:结合应用内用户偏好信息与历史行为,提供最优推荐

  • 端到端服务:从信息收集、方案推荐到最终执行的完整闭环

  • 个性化体验:根据用户画像提供定制化的服务和交互方式

APP 自动化测试

移动应用开发商、应用测试公司、质量保障团队等

需要对移动应用进行大规模、多场景的自动化测试;特别注重需要自然语言理解和画面执行,而非单纯跑固定操作流程的场景

大幅降低测试成本,提升测试覆盖率,缩短产品发布周期

  • 功能回归测试:自动执行 APP 的核心功能流程,验证新版本稳定性

  • 用户体验测试:模拟真实用户操作路径,发现交互设计问题

内容审核与合规检测

社交平台、内容平台、监管科技公司

需要对移动端应用侧内容进行大规模自动化审核和合规检测的场景

提升审核效率,降低人工成本,确保合规要求的及时响应

  • 多平台内容监控:自动巡检各大社交平台、短视频平台的违规内容

  • 实时合规检测:根据最新法规要求,自动识别可能存在合规风险的内容

  • 证据收集保全:自动截取、保存违规内容作为执法依据

  • 批量处理能力:同时处理数万个账号和内容源的审核工作

AI 数据收集与训练

视觉理解模型开发与训练公司、数据服务商、科研院所

需要收集大量移动端交互数据用于大模型训练与 Agent 训练开发,如 Seed Game Agent 游戏陪玩智能体收集云游戏用户交互数据

快速获得高质量训练数据,加速 AI 模型迭代和优化

  • UI 交互数据收集:自动收集各类 APP 的界面截图、操作流程数据

  • 用户行为模拟:生成多样化的用户操作序列,丰富训练数据集

  • 多模态数据获取:同时收集视觉、文本、语音等多种模态的数据

  • 数据清洗标注:自动对收集的数据进行初步清洗和标注

方案集成

集成 Mobile Use 方案,你需要开通以下几个产品服务:

产品服务名称
操作指引
计费说明

云手机

参考云手机快速入门步骤一和步骤二,开通云手机服务、购买资源和创建云手机实例。

注意

  • 资源规格选择
    • 云盘存储业务请购买“g3.8c24g单开”规格的资源;
    • 本地存储业务请购买“8vCPU|24GB内存|256GB存储”规格的资源。

更多资源规格介绍参看云手机资源规格

  • 镜像选择
    • Mobile Use 方案需使用 AOSP13 MCP 专用版本镜像,请联系技术支持获取指定镜像。

云手机计费概述

测试阶段推荐选择后付费“日结”类计费方式,正式上线请与销售团队沟通确认。

对象存储

参考对象存储快速入门步骤一和步骤二,开通对象存储服务并创建存储桶,创建完成后在控制台获取存储桶对应的 Endpoint

对象存储计费概述

方舟大模型服务平台

参考快速入门-调用模型服务开通模型服务。注意,模型请选择视觉理解类模型,如 doubao-1.5-vision-prodoubao-1.5-ui-tars。模型更新速度快,请在对接前咨询技术支持获取当前最推荐使用的模型名称。

模型服务价格

Mobile Use MCP Server

查看 Mobile Use MCP readme,参考页面指引完成部署。

/

联系我们

售前支持
若您对本方案产生兴趣或需要购买时,可拨打服务热线或提交业务咨询。

  • 7×12 小时服务热线,为您提供专业的顾问支持:400-850-0030

  • 进入业务咨询,预留相关信息,会有专业的顾问与您联系。

售后支持
当您在产品使用过程中遇到运维或技术问题时,可以提交工单。火山引擎技术支持团队将快速响应。

交流反馈群
欢迎扫码加入火山引擎 Mobile Use 产品交流群获取产品最新动态。

alt