首页 > 业界 > 关键词  > 苹果最新资讯  > 正文

苹果开发出能看懂屏幕上下文的人工智能技术ReALM

2024-04-03 16:51 · 稿源:站长之家

站长之家(ChinaZ.com)4月3日 消息:苹果开发出了一项能够实时理解和识别用户屏幕上显示内容的人工智能技术,而且无需依赖屏幕截图或图像数据输入。这项技术被称为ReALM(Real-time Analysis of Live Media),它使得在与用户交流的过程中,智能助手能够看到用户所看到的一切内容,并理解用户当前正在进行的活动,从而随时提供帮助。

image.png

论文地址:https://arxiv.org/pdf/2403.20329.pdf

ReALM技术通过将屏幕上的元素和布局转换为文本形式,然后利用这些文本信息来解析用户提出的与屏幕内容相关的查询或指令。比如用户可以说“打开我屏幕上显示的第一个应用”或“读取屏幕中央的新闻标题”,即使实际上该智能助手并未“看到”用户的屏幕。

这种能力特别适用于需要对屏幕上信息进行快速反应和处理的应用场景,比如虚拟助手和辅助技术等。通过ReALM技术,智能助手可以更加智能地理解用户的意图,并提供更加准确和个性化的帮助和服务。

这一举措预示着 iOS18将于2024年6月的 WWDC 发布,届时我们预计将推出全新的 Siri2.0,尽管目前尚不清楚该模型是否会及时集成到 Siri 中。这并不是苹果最近几个月在人工智能领域的首次尝试,公司推出了一系列新模型、工具以及合作伙伴关系,所有这些都预示着一家准备将人工智能作为业务中心的公司。

ReALM 是苹果快速增长的人工智能研究团队发布的最新消息,也是第一个专注于改进现有模型的消息,使其更快、更智能和更高效。

该公司声称,甚至在某些任务上优于 OpenAI 的 GPT-4。最新发布的详细信息来自苹果公司于周五发布的一篇新的开放研究论文,首次由 Venture Beat 在周一报道。对于它是否将实际成为 iOS18的一部分,苹果公司对此尚未置评。

ReALM 是如何工作的?

ReALM 与 GPT-4等模型相比要小得多。但这是因为它不需要做所有的事情。它的目的是为其他人工智能模型提供上下文,比如 Siri。

这是一个视觉模型,重新构建屏幕并标记每个屏幕实体及其位置。这创建了屏幕布局的基于文本的表示,可以传递给语音助手,为用户请求提供上下文线索。

在准确性方面,苹果表示,尽管体积更小、速度更快,ReALM 在一些关键指标上的表现与 GPT-4相当好。

这对 Siri 意味着什么?这意味着,如果未来版本的 ReALM 被部署到 Siri—— 甚至是这个版本 —— 那么当用户告诉它打开这个应用程序,或者告诉我这个图像中这个词的含义时,Siri 将更好地理解用户的意图。

它还将使 Siri 在不必完全部署像 Gemini 这样的大型语言模型的情况下具有更多的对话能力。当结合其他最近的苹果研究论文,允许 “一次性” 响应 —— 即 AI 可以从单个提示中获得答案 —— 这表明苹果仍在大力投资于 AI 助手领域,而不仅仅依赖外部模型。

举报

  • 相关推荐
  • 大家在看
  • InternLM-Math-Plus:双语开源数学推理大型语言模型。

    InternLM-Math-Plus 是一个最新的双语(英文和中文)开源大型语言模型(LLM),专注于数学推理,具有解决、证明、验证和增强数学问题的能力。它在非正式数学推理(如思维链和代码解释)和正式数学推理(如LEAN 4翻译和证明)方面都有显著的性能提升。

  • Selfarama:用AI将孩子的肖像与画家相结合 生成书籍

    Selfarama 是一款教育图书产品,通过将孩子与历史上最伟大的画家联系起来,帮助他们学习艺术史知识。产品包含定制的孩子肖像画和通俗易懂的教育文本。

  • Open-Sora-Plan-v1.1.0:文本到视频生成的开源模型,性能卓越。

    Open-Sora-Plan是一个由北京大学元组团队开发的文本到视频生成模型。它在2024年4月首次推出v1.0.0版本,以其简单高效的设计和显著的性能在文本到视频生成领域获得了广泛认可。v1.1.0版本在视频生成质量和持续时间上进行了显著改进,包括更优的压缩视觉表示、更高的生成质量和更长的视频生成能力。该模型采用了优化的CausalVideoVAE架构,具有更强的性能和更高的推理效率。此外,它还保持了v1.0.0版本的极简设计和数据效率,并且与Sora基础模型的性能相似,表明其版本演进与Sora展示的扩展法则一致。

  • &udm=14:无AI干扰的谷歌搜索页面

    &udm=14的AI-Free Search是一个提供无AI干扰的谷歌搜索服务的网站,允许用户在没有人工智能干预的情况下进行搜索。它使用'udm=14'参数来实现这一点,旨在保护用户的隐私,同时提供快速、准确的搜索结果。该网站由Tedium团队构建,支持开源代码,用户可以通过Glitch或Github获取。

  • LookOnceToHear:实时语音提取智能耳机交互系统

    LookOnceToHear 是一种创新的智能耳机交互系统,允许用户通过简单的视觉识别来选择想要听到的目标说话者。这项技术在 CHI 2024 上获得了最佳论文荣誉提名。它通过合成音频混合、头相关传输函数(HRTFs)和双耳房间脉冲响应(BRIRs)来实现实时语音提取,为用户提供了一种新颖的交互方式。

  • Models Table:大型语言模型的详细列表和信息

    Models Table 提供了一个包含300多个大型语言模型的列表,这些模型被所有主要的AI实验室使用,包括Amazon Olympus, OpenAI GPT-5, OpenAI GPT-6等。该列表展示了大型语言模型的发展趋势和多样性,对于AI研究者和开发者来说是一个宝贵的资源。

  • ReVideo.pro:一键式AI视频制作工具,适用于社交媒体和商业广告。

    ReVideo是一款功能强大的在线视频制作工具,它集成了100多个高级模板、AI背景移除工具、无版权音乐和图片库等。用户可以通过ReVideo轻松创建适用于Facebook、Instagram、YouTube、TikTok、Snapchat、播客等多种平台的视频内容。ReVideo的主要优点包括:无需录制视频或面对镜头、AI自动转录音频为字幕、自动生成音频波形、一键式品牌资产个性化、媒体库集成、超过300万的库存照片和视频资源可供搜索等。此外,ReVideo还提供了商业许可,允许用户为其客户创建视频并保留100%的利润。

  • SignLLM:首个多语种手语生成模型,优化手语翻译与教学。

    SignLLM是首个多语种手语生成模型,它基于公共手语数据构建,包括美国手语(ASL)和其他七种手语。该模型能够从文本或提示生成手语手势,并通过强化学习加速训练过程,提高数据采样质量。SignLLM在八种手语的生产任务上都达到了最先进的性能。

  • InstructAvatar:文本引导的情感和动作控制,生成生动的2D头像

    InstructAvatar是一个创新的文本引导方法,用于生成具有丰富情感表达的2D头像。该模型通过自然语言接口控制头像的情感和面部动作,提供了细粒度控制、改进的交互性和对生成视频的泛化能力。它设计了一个自动化注释流程来构建指令-视频配对的训练数据集,并配备了一个新颖的双分支扩散基础生成器,可以同时根据音频和文本指令预测头像。实验结果表明,InstructAvatar在细粒度情感控制、唇同步质量和自然度方面均优于现有方法。

  • AnyNode:ComfyUI的节点,能够根据用户指令生成任何类型的输出。

    AnyNode是一个为ComfyUI设计的插件,它利用LLMs(大型语言模型)的能力,根据用户的输入生成所需的输出。它支持使用OpenAI API或本地LLMs API,允许用户通过简单的配置和指令,实现复杂的编程任务,无需编写代码。该插件的主要优点包括易用性、灵活性和强大的功能,能够显著提高开发效率,尤其适合需要快速原型开发和自动化任务的开发者。

  • FlashRAG:高效的检索增强生成研究工具包

    FlashRAG是一个Python工具包,用于检索增强生成(RAG)研究的复现和开发。它包括32个预处理的基准RAG数据集和12种最先进的RAG算法。FlashRAG提供了一个广泛且可定制的框架,包括检索器、重排器、生成器和压缩器等RAG场景所需的基本组件,允许灵活组装复杂流程。此外,FlashRAG还提供了高效的预处理阶段和优化的执行,支持vLLM、FastChat等工具加速LLM推理和向量索引管理。

  • MusicGPT:在本地使用 LLMs 根据自然语言提示生成音乐。

    MusicGPT 是一款允许在任何平台上以高性能方式在本地运行最新音乐生成 AI 模型的应用程序。它支持文本条件音乐生成、旋律条件音乐生成以及不确定长度 / 无限音乐流。产品优势在于无需安装重型依赖如 Python 或机器学习框架,能够本地运行 AI 模型,提供自然语言提示生成音乐的功能。

  • AI Menti Builder:AI驱动的快速演示文稿制作工具

    AI Menti Builder是一个在线工具,它利用人工智能技术帮助用户快速创建演示文稿。这个工具能够根据用户输入的主题,即时生成一个可交互的演示文稿草稿,用户可以根据自己的需求进行调整和完善。它适用于团队会议、研讨会、讲座、调查、趣味测验等多种场合,大大减少准备时间,提高效率。

  • Copilot for Telegram:Telegram上的AI伴侣,智能聊天新体验。

    Copilot for Telegram是由微软推出的一款AI聊天助手,它通过GPT技术为用户提供智能聊天体验。用户可以与Copilot进行无缝对话,获取信息,享受更智能的聊天体验,所有这些功能都集成在Telegram应用中。Copilot for Telegram的主要优点包括提供个性化建议、娱乐内容、生活小贴士等,旨在提高用户的社交互动质量。

  • 一设MJ咒语解析:反向解析AI提示词的效率工具

    MJ咒语解析是一个专注于设计领域的工具,它能够帮助用户根据图片和绘画反向解析AI提示词,从而提高设计工作的效率和质量。该工具的背景信息表明,它是由一群对AI技术在设计领域应用充满热情的开发者所创建,旨在解决设计师在创作过程中遇到的提示词难题。

  • Marlee:AI协作与绩效助手,提升团队协作与个人发展。

    Marlee是一款致力于提升团队协作和个人绩效的AI工具。它通过个性化洞察,帮助团队成员在工作流程中相互促进,提供连接、激励、协作和发展的解决方案。Marlee利用科学支持的问题和分析,以高达98%的可靠性度量48种工作动机,帮助团队成员感到被看见和接受,从而在工作中展现最佳状态。此外,Marlee还提供人才招聘、人才发展、解决冲突、团队绩效和沟通等方面的帮助,以及在并购中预测文化协同的可能性。

  • Rehance:提升SaaS产品生产力的AI助手

    Rehance是一个AI助手插件,旨在为SaaS产品提供自动化任务执行和问题解答功能,帮助用户提高工作效率,简化复杂操作,并提供使用数据以优化产品。

  • HyperCrawl:专为LLM和RAG应用设计的高效网络爬虫

    HyperCrawl是第一个为LLM(大型语言模型)和RAG(检索增强生成模型)应用设计的网络爬虫,旨在开发强大的检索引擎。它通过引入多种先进方法,显著减少了域名的爬取时间,提高了检索过程的效率。HyperCrawl是HyperLLM的一部分,致力于构建未来LLM的基础设施,这些模型需要更少的计算资源,并且性能超越现有的任何模型。

  • 2D to 3D Image Converter:快速将2D图像转换为3D,开启全新的视觉体验和无限可能性。

    Stylar AI的2D to 3D Image Converter是一个强大的图像转换工具,它利用先进的Image-to-Image技术,将平面2D图像转换为3D图像。这款工具提供高质量的图像转换和多种风格选项,能够满足用户对图像进行3D化的需求。产品的主要功能包括上传图片、选择3D效果、下载3D创作等。它还提供了多种3D风格,如3D卡通效果、3D艺术作品等,以及将草图转换为3D设计的功能。

  • ComfyUI ProPainter Nodes:ComfyUI 实现的 ProPainter 框架用于视频修补。

    ComfyUI ProPainter Nodes 是基于 ProPainter 框架的视频修补插件,利用流传播和时空转换器实现高级视频帧编辑,适用于无缝修补任务。该插件具有用户友好的界面和强大的功能,旨在简化视频修补过程。

今日大家都在搜的词: