首页 > 业界 > 关键词  > MobileAgent最新资讯  > 正文

阿里推自主多模态AI代理MobileAgent 可模拟人类操作手机

2024-02-01 09:24 · 稿源:站长之家

站长之家(ChinaZ.com)2月1日 消息:MobileAgent是由阿里巴巴开发的一个自主多模态AI代理,可以模拟人类操作手机,是一个纯视觉解决方案,不需要任何系统代码,完全通过分析图像来理解和操作手机。

image.png

项目地址:https://top.aibase.com/tool/mobile-agent

特点:

  • 依赖于纯视觉解决方案: MobileAgent通过分析图像来理解和操作手机,而无需任何系统代码。这增加了通用性和灵活性,使其能够在没有访问底层代码或数据权限的情况下操作应用。

  • 独立于XML和系统元数据: 不依赖XML文件和系统元数据,提高了通用性和灵活性。

  • 多种视觉感知工具: 使用多种技术进行操作定位,包括文本、图标、按钮等。

  • 即插即用: 无需训练,可直接在不同设备和应用上使用。

MobileAgent能够自动完成各种任务,比如在Alibaba上帮助用户找到帽子,并根据条件添加到购物车,在Amazon Music中搜索歌手Jay Chou或播放关于“代理”的音乐,在Chrome中搜索今日湖人队比赛结果或关于Taylor Swift的信息,在Gmail中发送空邮件或具有特定内容的邮件,在TikTok上为宠物猫视频点赞或评论等,还可以结合使用多个应用完成复杂任务。

MobileAgent的特点包括依赖于纯视觉解决方案,独立于XML和系统元数据,具备多种视觉感知工具进行操作定位,无需探索和训练,即插即用。

其工作原理包括视觉感知工具,自主任务规划和执行,自反思和提示格式。 MobileAgent使用了视觉感知模块、文本和图标定位,自主规划和自反思方法来实现对手机应用的操作。观察、思考和行动是MobileAgent采用的提示格式,要求代理输出三个组成部分。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词:

热文

  • 3 天
  • 7天