Mobile Use 是基于火山引擎云手机与豆包视觉识别大模型能力,通过自然语言指令完成面向移动端场景自动化任务的 AI Agent 解决方案。
方案优势
Mobile Use 是行业首发 Mobile AI infra 到 agent 的完整 All-In-One 解决方案
- 「视觉+指令」双驱动:Mobile Use Agent 支持视觉识别触控操作、系统级指令和三方工具调用,实现更精准快速的任务执行,覆盖传统纯视觉 GUI Agent 无法触达的复杂场景。
- 云手机环境隔离:AI 任务全程在云端手机环境执行,任务运行期间不中断本机任何操作,且不占用用户本机资源。
- 环境适配与系统定制能力:摆脱本机系统权限限制,同时支持根据业务需求定制专属系统环境,适配更多复杂场景。
- 全平台跨端支持:兼容 PC 端(Web/Mac/Windows)与移动端(Android/iOS)全平台,实现跨设备无缝协同。
- 高并发任务处理能力:支持用户终端侧利用多个云手机环境,实现多任务同步运行,告别串行等待模式,大幅提升效率。
- 全链路隐私安全保障:集成 Jeddak AICC 解决方案,对用户隐私数据的存储、传输、计算全流程进行加密保护。
效果展示
体验入口
你可直接访问 Web Demo 快速体验。
体验说明
- 出于安全合规要求,进行 Demo 体验前,请仔细阅读 Mobile Use Agent 体验版用户协议,勾选同意协议内容后,点击 立即体验 ,即可进入体验界面。
- 使用自然语言输入希望 Mobile Use 完成的任务。可参考页面的快捷任务提示,也可自由体验其他应用场景。
- 页面右侧云手机画面将完整展示任务执行过程,请保持关注并核实每一步操作行为。
- (可选)体验过程中如果有任何疑问、意见或建议,欢迎点击“问卷反馈”进行反馈。
产品架构

产品采用分层设计:
- Agent 交互层:
面向用户的智能交互层,提供自然语言交互和任务编排能力:
- Mobile Use Agent Demo:免费快速体验 Mobile Use Agent 执行能力,支持多端试用
- Mobile Use MCP:面向 Agent 任务预集成云手机常用工具,兼容标准 MCP 协议
- Mobile Use 代码框架:支持使用示例代码快速搭建 Mobile Use Agent 并添加业务逻辑
- Mobile Use Agent SDK:支持用户通过 SDK 集成 Mobile Use 进业务,通过简单的环境参数配置和一句 agent.run() 来与 Mobile Use Agent 交互完成自然语言指令输入并获取任务执行结构化输出
- PaaS 调度层:
提供中间件服务和智能调度能力,连接底层资源与上层应用:
- 智能调度:智能分配云手机资源,支持多任务并行执行和队列管理
- 模型服务:集成方舟大模型服务,提供视觉理解、自然语言处理等 AI 能力
- 流媒体服务:实现云手机画面的实时传输和远程控制
- 监控运维:全链路监控系统状态,提供日志记录、性能分析和故障诊断
- IaaS 资源层:
作为整个方案的基础设施层,提供稳定可靠的计算和存储资源:
- 云手机集群:基于火山引擎云原生架构,提供海量 ARM 虚拟机资源池
- 弹性计算:根据任务负载自动扩缩容,保证高并发场景下的资源供给
- 网络基础:提供低延迟、高带宽的网络连接,确保实时交互体验
- 存储服务:集成 TOS 对象存储,提供海量数据存储和快速访问能力
- 安全隔离:每个云手机实例独立运行,确保任务间的安全隔离和数据保护
技术架构

以 “用户让云手机打开某 APP 并点击按钮” 为例,本方案的工作原理如下:
- 用户指令输入:通过 “Agent 对话聊天” 发送自然语言(如 “帮我打开 xxx APP”)。
- 指令传输:经火山 APIG 网关,将指令转发到 Mobile Use Agent Service。
- 智能决策:
- Prompt 模块构建提示词,结合 Memory 的上下文(如历史任务),将指令转化为 LLM 可处理的格式。
- 多模态 LLM 解析指令,生成 “打开 APP→点击按钮” 的操作逻辑。
- 操作调度:
- MCP tool Call 调用 MCP 接口,将操作逻辑转化为具体指令。
- Pod Scheduler 分配可用的云手机实例,MCP 向该实例下发操作指令。
- 执行与反馈:
- 云手机 PaaS 执行操作(打开 APP、模拟点击),并通过 “串流信息下发” 将实时画面回传到前端 “云手机串流画面”。
- 操作结果(成功 / 失败、界面变化)经 Agent 对话聊天反馈给用户。
使用场景
业务场景 | 客户类型 | 典型场景举例 | 方案优势 |
|---|
通用/垂直领域 Agent 开发 | AI 应用开发商、互联网平台、垂直行业 SaaS 服务提供商 | - 手机端通用智能助手
- 车机端智能助手
- 电商类客户期望开发智能购物助手应用
- 出行软件类客户期望开发智能规划助手应用
| 帮助客户快速构建具备实际执行能力的 AI 助手产品,无需逐一对接各平台 MCP - 多平台数据数据整合:自动从电商、出行、本地服务等多个 APP 收集信息进行比较
- 智能决策引擎:结合应用内用户偏好信息与历史行为,提供最优推荐
- 端到端服务:从信息收集、方案推荐到最终执行的完整闭环
- 个性化体验:根据用户画像提供定制化的服务和交互方式
|
APP 自动化测试 | 移动应用开发商、应用测试公司、质量保障团队等 | 需要对移动应用进行大规模、多场景的自动化测试;特别注重需要自然语言理解和画面执行,而非单纯跑固定操作流程的场景 | 大幅降低测试成本,提升测试覆盖率,缩短产品发布周期 - 功能回归测试:自动执行 APP 的核心功能流程,验证新版本稳定性
- 用户体验测试:模拟真实用户操作路径,发现交互设计问题
|
内容审核与合规检测 | 社交平台、内容平台、监管科技公司 | 需要对移动端应用侧内容进行大规模自动化审核和合规检测的场景 | 提升审核效率,降低人工成本,确保合规要求的及时响应 - 多平台内容监控:自动巡检各大社交平台、短视频平台的违规内容
- 实时合规检测:根据最新法规要求,自动识别可能存在合规风险的内容
- 证据收集保全:自动截取、保存违规内容作为执法依据
|
AI 数据收集与训练 | 视觉理解模型开发与训练公司、数据服务商、科研院所 | 需要收集大量移动端交互数据用于大模型训练与 Agent 训练开发的场景 | 快速获得高质量训练数据,加速 AI 模型迭代和优化 - UI 交互数据收集:自动收集各类 APP 的界面截图、操作流程数据
- 用户行为模拟:生成多样化的用户操作序列,丰富训练数据集
- 多模态数据获取:同时收集视觉、文本、语音等多种模态的数据
- 数据清洗标注:自动对收集的数据进行初步清洗和标注
|
方案集成
为帮助您快速上手,我们提供了基于火山引擎函数服务的一键部署方案。该方案已预置所有必需服务,您无需如下表所示手动逐一开通和集成,即可在短时间内部署一个功能完整的专属 Agent 应用。详情参见 Mobile Use Agent 产品介绍与快速部署指南。此外:
- Mobile Use 提供 SDK 支持,您可以在指定项目中快速集成 SDK,无需关注 Agent 实现细节即可对 Mobile Use Agent 通过自然语言指令下发任务并获取任务执行结果。详情参见Mobile Use SDK 使用指南。
- Mobile Use 提供移动端使用的智能代理任务管理接口(OpenAPI),包括配置管理、任务执行和回调处理等功能。详情参见Mobile Use OpenAPI 概览。
如果您有深度定制需求,或希望手动集成,则需要开通以下几个产品服务:
联系我们
售前支持
若您对本方案产生兴趣或需要购买时,可拨打服务热线或提交业务咨询。
- 7×12 小时服务热线,为您提供专业的顾问支持:400-850-0030。
- 进入业务咨询,预留相关信息,会有专业的顾问与您联系。
售后支持
当您在产品使用过程中遇到运维或技术问题时,可以提交工单。火山引擎技术支持团队将快速响应。
交流反馈群
欢迎扫码加入火山引擎 Mobile Use 产品交流群获取产品最新动态。
