豆包手机助手消费者版发布，推GUI合作协议，第三方应用可声明AI操作边界
9月14日，豆包手机助手消费者版本正式发布。其中，“操作手机”功能以Beta版形式开放，豆包同步推出屏幕自动化操作声明协议（SAEP），允许第三方应用声明是否接受AI助手在应用内进行屏幕自动化操作，并启动为期30天的规则公示。
根据豆包方面介绍，第三方应用可通过该协议明确允许或拒绝相关操作。对于明确拒绝的应用，豆包手机助手将不进行自动化操作。
第三方应用的操作边界，是豆包手机助手此前落地过程中遇到的实际问题。2025年12月，技术预览版推出后，部分应用曾出现登录受限、AI操作无法继续的情况。据新黄河此前报道，2025年12月10日，豆包手机助手产品经理表示，淘宝、天猫、大麦、闲鱼等应用正陆续解除设备登录限制，但豆包团队也下掉了对相关App的操作手机能力。解除登录限制，并不等于恢复AI代操作。
不同应用当时的表现并不相同。2025年12月10日，新黄河大鱼财经记者实测发现，豆包手机助手仍可调用京东App，在后台完成检索和比价。
按照协议设计，最终能否执行一项操作，需要结合助手身份、系统安全基线、应用声明及用户授权共同判断。应用声明允许，不代表可以跳过业务鉴权；对被拒绝的操作，助手应停止执行，不得换用其他通道绕过。需要用户确认或接管时，确认只覆盖界面展示的具体步骤。
协议还设计了操作日志查询机制，第三方应用可以查看与自身相关的操作记录，追溯助手的操作目标、决策和执行结果。不过，文档同时说明，意图级限制是否具备完整的系统强制执行能力，取决于目标版本。
目前，官网列出的“操作手机”支持范围为系统及中兴应用、字节系应用，以及部分已接入的第三方应用。
豆包方面有关人士向新黄河大鱼财经记者表示，图形界面智能体仍是一项快速发展的前沿能力，希望与合作伙伴共同构建开放、规范的手机AI应用生态。
图形用户界面（Graphical User Interface），即GUI。手机AI助手通过GUI操作应用，可以理解为“看着屏幕替用户操作”：识别页面上的文字、按钮和输入框，再模拟点击、滑动、输入等动作，逐步完成任务。这种方式沿用了人操作App的流程，但能否完成任务，仍受页面变化、应用限制和用户授权等因素影响。
除应用操作外，此次消费者版本还介绍了系统交互、本地信息检索和录音等功能。豆包手机助手以豆包App为基础，与手机厂商在系统层面合作。官方视频显示，用户可通过语音或专属AI键唤醒助手；AI键支持指纹鉴权，完成本人验证后，无需二次解锁即可调用相关功能。用户也可围绕当前屏幕内容提问，或将屏幕信息作为执行任务的输入。
本地信息检索则以用户主动授权为前提，覆盖电话、相册、短信、便签等数据。用户可以手动保存当前屏幕内容，供后续查找。录音功能接入飞书妙记，支持转录、实时翻译、区分说话人和自动总结，并可检索过往录音中的具体内容。
任务执行也包含服务接口调用。官网显示，“豆包智能服务”Beta版已接入曹操出行、地图等服务，其中曹操出行首批支持北京、杭州。用户提出打车需求后，助手可确认地址、选择车型并发起下单。
在隐私与安全方面，豆包方面表示，数据收集遵循“最小必要”与“用户自主控制”原则，数据处理采用端云结合方案，并对助手可操作的范围进行分层、分级管理。
据官方介绍，首个豆包手机助手消费者版本将搭载于努比亚NaviX Ultra手机，目前已开启预约，将于9月16日正式发售。
记者：张盼港 编辑：刘丹 校对：杨荷放