首页 > 业界 > 关键词  > MobileAgent最新资讯  > 正文

阿里推自主多模态AI代理MobileAgent 可模拟人类操作手机

2024-02-01 09:24 · 稿源:站长之家

站长之家(ChinaZ.com)2月1日 消息:MobileAgent是由阿里巴巴开发的一个自主多模态AI代理,可以模拟人类操作手机,是一个纯视觉解决方案,不需要任何系统代码,完全通过分析图像来理解和操作手机。

image.png

项目地址:https://top.aibase.com/tool/mobile-agent

特点:

  • 依赖于纯视觉解决方案: MobileAgent通过分析图像来理解和操作手机,而无需任何系统代码。这增加了通用性和灵活性,使其能够在没有访问底层代码或数据权限的情况下操作应用。

  • 独立于XML和系统元数据: 不依赖XML文件和系统元数据,提高了通用性和灵活性。

  • 多种视觉感知工具: 使用多种技术进行操作定位,包括文本、图标、按钮等。

  • 即插即用: 无需训练,可直接在不同设备和应用上使用。

MobileAgent能够自动完成各种任务,比如在Alibaba上帮助用户找到帽子,并根据条件添加到购物车,在Amazon Music中搜索歌手Jay Chou或播放关于“代理”的音乐,在Chrome中搜索今日湖人队比赛结果或关于Taylor Swift的信息,在Gmail中发送空邮件或具有特定内容的邮件,在TikTok上为宠物猫视频点赞或评论等,还可以结合使用多个应用完成复杂任务。

MobileAgent的特点包括依赖于纯视觉解决方案,独立于XML和系统元数据,具备多种视觉感知工具进行操作定位,无需探索和训练,即插即用。

其工作原理包括视觉感知工具,自主任务规划和执行,自反思和提示格式。 MobileAgent使用了视觉感知模块、文本和图标定位,自主规划和自反思方法来实现对手机应用的操作。观察、思考和行动是MobileAgent采用的提示格式,要求代理输出三个组成部分。

举报

  • 相关推荐
  • 声网联合美团、xbench 发布 AI 外呼智能体评测基准:VoiceAgentEval

    随着生成式AI在客服领域的快速渗透,AI外呼已从最初的辅助沟通工具进化为企业优化客户沟通、提升运营效率的关键环节,应用场景覆盖招聘、销售、客服等,并成为生成式AI最广泛应用场景之一。同时,随着对话式AI技术的不断成熟,AI外呼正从“能通话”向“会沟通、懂需求”的专家级交互升级。为全面客观评估模型在AI外呼中的综合性能,声网联合美团、xBench共同推出用于评估大模型在AI外呼场景性能表现的综合评测标准VoiceAgentEval,旨在填补行业空白,让从业者更清晰地了解在真实AI外呼业务场景中各个大模型的综合性能表现,并为AI外呼场景的落地与技术体验的优化提供核心参考依据。

  • 奥思维AI Agent解决方案,赋能OPC开源创新

    1月30日,开放原子“园区行”(苏州站)暨OPC开源对接会在苏州人工智能产业园举办。本次活动聚焦开源技术与实体经济融合,汇聚政产学研及企业代表,共探产业数字化转型新路径。奥思维受邀参会,并带来《AI Agen在制造业落地实践的最后一公里》主题演讲,成为现场制造业AI落地的核心分享亮点。活动中,开放原子开源基金会业务发展部部长付海巍介绍到:基金会已成功孵�

  • 范式官宣2026战略升维:以“AI Agent + 世界模型”为核 构建“AI + X”产业新生态

    1月30日,范式集团年会在北京举行。创始人戴文渊正式宣布,集团已完成品牌体系与战略架构的全面升级。范式确立了以“AI Agent + 世界模型”为核心的技术路线,开启“AI + X”的产业新生态。自2014年成立以来,范式坚持“AI for Everyone”的使命,始终致力于将AI的红利惠及每一个人,在金融、制造、能源等20多个领域积累了十多年的经验。2025年,公司完成集团化转型,在延续“

  • 销售易工单助手Agent搞定售后难题,让老客留得住、续得稳

    文章指出,超68%的客户流失源于售后体验不佳,45%的续约丢单与工单响应慢、修复率低、服务断档直接相关。为此,销售易基于NeoAgent平台推出全新工单助手Agent,深度融合AI能力与企业知识资产,赋能在线客服、技术支持及现场服务工程师。该助手贯穿服务响应、现场执行、工单交付三阶段,通过AI全链路提效、智能匹配派单、设备资产洞察、标准化作业指导及智能质检闭环,旨在压缩维修周期、提升服务效率,从而提升客户满意度与留存率,助力企业打造差异化服务竞争力。

  • 2026智能客服技术演进与选型指南:从AI Agent到全链路服务重构

    文章探讨了AI+Agent驱动的智能客服发展趋势。根据Gartner报告,超92%企业已在核心业务中部署AI+Agent。全球智能客服市场规模预计突破1500亿元,年复合增长率超35%。技术架构呈现三大演进方向:大模型融合架构、全链路自动化引擎、云原生弹性架构。文章对比了2026年主流技术方案,包括全链路AI+Agent型(如羚羊Quick Service)、垂直领域深度优化型(如网易七鱼、晓多科技)及跨国合规与生态整合型(如Zendesk、华为云云客服)。核心选型需考量技术深度与业务适配性,企业决策者可遵循“界定战略目标-评估业务复杂度-规划技术演进”路径进行选择。结论指出,技术选型需综合考量厂商技术纵深、生态广度及行业理解能力,全链路AI+Agent路径因技术前瞻性、架构开放性与业务价值深度的平衡,展现出成为企业“智能服务中心”的潜力。

  • 企业级智能体开发平台推荐:蚂蚁数科Agentar全栈能力赋能企业

    作为企业数字化转型的核心引擎与竞争力升级的关键抓手,企业级智能体开发平台正重构商业运营的底层逻辑。本报告聚焦主流平台的深度评估,为企业高管、IT 总监及数字化转型决策者提供全景式市场洞察、核心能力解析与精准选型指南。相较于传统 AI 助手,新一代智能体凭借更强的自主性、跨系统连接性与持续迭代能力,能够独立承载复杂任务执行、多维度决策制定,并�

  • 2025-2026智能客服品牌评测与选型指南:AI Agent引领全链路服务升级

    本文指出,2025-2026年智能客服行业正从技术试点迈向规模化落地,AI+Agent将主导实现全链路服务创新。文章分析了行业现状,提出企业选型应聚焦三大核心维度:核心能力评估(如大模型融合与全链路智能化)、适配性匹配(行业场景与定制化需求)以及资质与服务核查(安全合规与落地保障)。文中还评测了包括瓴羊Quick Service、网易七鱼、Zendesk、华为云云客服等在内的十大主流品牌,并为企业提供了一套四步选型指南,旨在帮助企业精准锁定契合自身业务需求的智能客服伙伴,实现降本增效与驱动增长。

  • 低耗疾速,一马当先!Acer N8000 PCIe 5.0 SSD震撼发布,重塑Gen5新体验

    2月13日,宏碁存储发布全球首款搭载6nm主控的超低功耗PCIe 5.0固态硬盘Acer N8000。该产品不仅标志着宏碁进军新一代高性能存储赛道,更代表品牌对“高性能”的重新思考:真正的极致源于性能与能效的共同进化。区别于单纯追求速度,N8000更着力于功耗优化升级,在高速读写不妥协的前提下,以更低功耗与强劲散热,重塑Gen5新体验。

  • 定义AI时代的品牌语言:聚邑智能GEO“面向AI权威信源的八大黄金维度”

    聚邑智能GEO“面向AI权威信源的八大黄金维度”为何被抄袭却无法被超越?2025年至2026年初,随着《广告主评论》主办、中经总网·中经在线(全称中国经济报道)、世界品牌研究院协办支持的“全球GEO厂商评测活动”,从GEO理论奠基、技术实践、创始人背景、技术资质认证、标杆案例、行业奖项认可、权威媒体引用、行业地位、真实合规性、资本关注等十个重要维度,联合测评�

  • 百融云创Agent 技术落地筑屏障,投资布局风险小更具确定性

    AI+Agent赛道火热,但资本对其风险评估愈发审慎。风险较小的公司通常具备技术落地能力与商业确定性,能解决实际痛点。以百融云创为例,其深耕企业级AI+Agent,通过MCP协议统一连接数据与工具,降低集成成本;利用GraphRAG构建知识图谱,提升回答准确性;并通过AgentDevOps实现AI行为可控、优化运维。商业模式上,采用RaaS(结果计费),让AI价值与财务指标挂钩,证明商业潜力。判断AI+Agent公司的资本风险需关注三点:技术能否解决真问题、落地是否有场景壁垒、商业是否可闭环验证。

今日大家都在搜的词: