首页 > 业界 > 关键词  > MobileAgent最新资讯  > 正文

阿里推自主多模态AI代理MobileAgent 可模拟人类操作手机

2024-02-01 09:24 · 稿源:站长之家

站长之家(ChinaZ.com)2月1日 消息:MobileAgent是由阿里巴巴开发的一个自主多模态AI代理,可以模拟人类操作手机,是一个纯视觉解决方案,不需要任何系统代码,完全通过分析图像来理解和操作手机。

image.png

项目地址:https://top.aibase.com/tool/mobile-agent

特点:

  • 依赖于纯视觉解决方案: MobileAgent通过分析图像来理解和操作手机,而无需任何系统代码。这增加了通用性和灵活性,使其能够在没有访问底层代码或数据权限的情况下操作应用。

  • 独立于XML和系统元数据: 不依赖XML文件和系统元数据,提高了通用性和灵活性。

  • 多种视觉感知工具: 使用多种技术进行操作定位,包括文本、图标、按钮等。

  • 即插即用: 无需训练,可直接在不同设备和应用上使用。

MobileAgent能够自动完成各种任务,比如在Alibaba上帮助用户找到帽子,并根据条件添加到购物车,在Amazon Music中搜索歌手Jay Chou或播放关于“代理”的音乐,在Chrome中搜索今日湖人队比赛结果或关于Taylor Swift的信息,在Gmail中发送空邮件或具有特定内容的邮件,在TikTok上为宠物猫视频点赞或评论等,还可以结合使用多个应用完成复杂任务。

MobileAgent的特点包括依赖于纯视觉解决方案,独立于XML和系统元数据,具备多种视觉感知工具进行操作定位,无需探索和训练,即插即用。

其工作原理包括视觉感知工具,自主任务规划和执行,自反思和提示格式。 MobileAgent使用了视觉感知模块、文本和图标定位,自主规划和自反思方法来实现对手机应用的操作。观察、思考和行动是MobileAgent采用的提示格式,要求代理输出三个组成部分。

举报

  • 相关推荐
  • 蝉妈妈AI新品震撼发布:电商营销Agent时代来临,6万+从业者共寻增长新引擎

    2025年电商竞争核心转向AI效率。蝉妈妈于10月23日发布电商专属AI工具,旨在解决传统运营痛点。该工具覆盖全链路场景:从行业分析、竞对数据到图文创作、视频脚本生成,帮助从业者实现策略制定到落地执行的一站式智能运营。发布会集结多位实战专家,分享全域增长、内容提效等可复用的方法论,吸引超6万观众。蝉妈妈凭借行业数据沉淀与AI技术结合,为电商从业者提供突破增长瓶颈的系统路径,推动行业迈向技术驱动的高效新纪元。

  • 墨刀AI Agent:更懂产品经理的超级智能体上线

    2025年AI将进入"智能体时代",从被动工具升级为能理解意图、辅助决策的伙伴。墨刀AI+Agent专为产品经理打造,具备三层核心能力:懂逻辑(理解需求生成原型)、懂场景(熟悉全流程工作)、懂协作(跨角色沟通优化)。它能贯穿调研、原型、文档、评审等环节,解放重复劳动,让产品经理专注高价值决策,实现从效率提升到决策升级的人机协作新模式。

  • 数巅完成数亿元pre-A轮融资,领跑企业级AI Agent赛道

    北京数巅科技完成数亿元Pre-A轮融资,由济和创投与赛富基金领投。资金将用于产品研发、国内市场深耕及国际市场拓展,强化其Data Agent技术在行业落地方面的领先优势。数巅推出企业级Data Agent解决方案,通过模块化架构整合海量行业知识与企业数据,精准识别用户需求,实现秒级响应与深度推理,满足企业数据分析、智能报告生成及业务决策等需求。该方案已在多家央国企及金融机构落地,查数准确率超99%,成为国内企业级智能体应用的重要里程碑。

  • MiniMax M2:所有坑都踩过,才能做出所有人都能用上的Agent

    最近一个月,基础模型似乎又有点多起来。但若仔细去看这些模型厂商的动作,大体还是走出了两条路。 一种是在诸多难点里选择一个死磕,成为这个单点上的SOTA。这种路线可以快速在开发者群体留下一个明确的印象,但也可能限制住了一家模型公司的“基座”属性。另一种则是在各个模态上全面前进,在一个最全面的基础模型蓝图里不停交出一个个关键拼图。 已经有了全

  • 免费AI搜索优化GEO工具:AIBase帮你监控品牌在AI平台的曝光

    朋友公司实验发现:当用户询问AI“推荐项目管理工具”时,其产品在豆包被推荐,但在通义千问未被提及。这揭示AI搜索流量正从Google转移,但品牌难以追踪在AI平台的表现。传统分析工具无法解决此问题,需专门GEO工具。AIBase GEO可同时监控5大主流AI平台,实时反馈品牌曝光数据,并通过可视化图表展示可见度变化。该工具特别适合关注AI搜索流量的ToB企业,建议将监控与内容优化形成闭环,以应对2030年AI搜索预计占总量62.2%的趋势。

  • 我亲测了一下AIBase的GEO品牌监控:这才是真正的AI搜索排名“显微镜”

    本文介绍AI时代的生成引擎优化(GEO),即通过AIBase工具监控品牌在AI模型中的表现。用户只需输入品牌信息,系统即可分析AI对品牌的认知画像,包括核心产品分类、关键词分布及竞争对比。该工具帮助品牌优化内容结构,提升AI引用率,实现从“被AI忽略”到“被主动推荐”的转变,是新时代内容营销的关键路径。

  • Zen7 Labs 开源全球首个去中心化支付智能体(DePA),打造下一代AI Agent 金融基础设施

    随着AI Agent经济崛起,支付成为制约智能体自主交易的关键瓶颈。Zen7Labs提出去中心化支付智能体DePA概念,并开源核心产品Zen7 Payment Agent。该方案具备原生多链兼容、免密授权、零托管安全等六大优势,通过四类Agent角色协同实现全流程自动化支付,有效融合传统跨境支付与加密支付优势。团队计划12个月内推出DePA Chain网络,构建低延迟、高安全的支付基础设施,为万亿美元级A

  • ​如何使用 AIBase 平台 GEO 排名查询工具

    本文介绍AI搜索时代品牌面临的新挑战:官网流量被AI工具分流,传统SEO工具无法监测AI平台曝光情况。作者推荐使用AIBase GEO工具,它能监控品牌在豆包、DeepSeek等五大国产AI平台的曝光数据,通过总检测次数、推荐数、曝光数、曝光率四个核心指标量化表现。文章详细演示了设置监控任务、分析数据、针对性优化官网内容的完整流程,强调工具需配合高质量内容持续优化,帮助

  • AI日报:豆包推全自动多人配音系统;Adobe Firefly Image 5重磅升级;Soul语音模型SoulX-Podcast发布

    本期AI日报聚焦多项技术突破:豆包推出全自动有声剧系统,实现98%角色识别准确率;Adobe Firefly Image 5支持400万像素原生输出及AI音轨生成;Soul发布90分钟无中断播客生成模型;360推出全球首款L2-L4全栈智能平台;IBM发布可在普通设备运行的Granite 4.0 Nano模型。市场方面,移动端AI用户突破7亿,豆包领跑原生应用;PayPal与OpenAI合作使ChatGPT集成支付功能;谷歌推出AI营销工具Pomelli,可基于URL自动生成营销内容。

  • 什么是AI生成式引擎优化GEO?GEO与传统SEO的核心区别

    ​GEO(生成式引擎优化)是AI时代的流量新密码。随着生成式AI全面渗透信息获取场景,传统搜索引擎优化(SEO)正在被GEO所补充甚至部分取代。截至2025年,中国AI搜索用户规模已超6.5亿,文心一言、豆包等平台日均处理查询超过20亿次,用户已经从“翻页搜索”转向“对话获取答案”。 与传统SEO关注网页排名不同,GEO的核心目标是让品牌内容被AI优先引用和推荐。研究表明,72%�

今日大家都在搜的词: