首页 > 业界 > 关键词  > ambientGPT最新资讯  > 正文

ambientGPT:开源多模态MacOS基础模型操作界面 可调用GPT-4o API

2024-05-23 09:56 · 稿源:站长之家

划重点:

⭐ AmbientGPT 可以运行 GPT-4和本地基础模型,并直接了解屏幕环境,使基础模型不再局限于浏览器。

⭐ 使用 AmbientGPT,屏幕上下文将直接作为查询的一部分进行推断,无需再次显式上传上下文。

⭐ 若要运行本地模型,需要使用 ARM64MacBook,并使用兼容的 OpenAI API 密钥。

站长之家(ChinaZ.com)5月23日 消息:最近,一款名为 ambientGPT 的开源项目备受关注。这款工具是一款多模态 MacOS 基础模型操作界面,可以调用 GPT-4o API 或者本地开源模型进行问答,并能直接访问屏幕内容而不需要截图。它的本地模型是基于 Apple 的 MLX 库,技术栈包括 Python + Node。

image.png

AmbientGPT 是一项具有创新意义的技术,它可以运行 GPT-4和本地基础模型,并且能够全面了解屏幕环境。这一技术的出现,突破了基础模型一直局限于浏览器的限制。通过使用 AmbientGPT,用户的屏幕上下文将直接作为查询的一部分进行推断,从而避免了再次上传上下文的麻烦。

在使用 AmbientGPT 时,用户需要具备 ARM64(M1、M2、M3等)MacBook,并且需要使用兼容的 OpenAI API 密钥,以便能够使用 GPT-4o。同时,为了运行本地模型,还需要安装必要的软件包。

AmbientGPT 的出现为用户提供了更便利、更高效的使用体验,使得 GPT-4和本地基础模型能够更好地融入用户的实际屏幕环境中,从而实现更加智能化的应用和操作。该技术的推出,预示着未来在智能模型应用领域将会迎来更多创新和便利。

产品入口:https://top.aibase.com/tool/ambientgpt

举报

  • 相关推荐
  • iPad为何不运行macOS 苹果高管:macOS未对触摸屏做优化

    iPadOS 26带来了全新的应用视窗、下滑式菜单栏等功能,让iPad的操作体验更接近Mac,但苹果始终未让iPad运行macOS系统,其背后原因正式揭开。 苹果公司软件工程负责人Craig Federighi接受采访时称,iPadOS 26的新特性在生产力与简洁性之间取得了很好的平衡,macOS系统从未对触控屏做优化,我们要保留iPad最本质的简洁性,如果强行移植macOS,iPad将丧失其触控设备的独特价值。 Craig Fed

  • 主流AI多模态大模型有哪些?超全的多模态大模型指南分享

    2024年多模态大模型成为AI领域最具前景的技术方向之一。文章全面分析了主流多模态大模型的特点、应用场景和发展趋势。多模态大模型能同时处理文本、图像、音频、视频等多种数据,实现更智能的人机交互。重点介绍了GPT-4V、Claude3.5、Gemini、通义千问等代表性模型,对比了它们在视觉理解、编程能力、中文处理等方面的优势。应用场景涵盖智能客服、内容创作、教育医疗等领域。未来发展趋势包括模型规模扩大、支持更多模态、实时交互能力提升等。选择模型需考虑应用需求、语言支持、性能成本等因素。

  • iPadOS 26台前调度适配更多机型:多任务体验比肩macOS

    最新的iPadOS 26升级了台前调度功能,苹果还把该功能扩展到了更多机型。 在上一版iPadOS 18上,台前调度仅限于以下iPad机型: 13英寸iPad Pro(M4芯片); 12.9英寸iPad Pro(第3代及后续机型); 11英寸iPad Pro(第1代及后续机型); iPad Air(第5代及后续机型)。 在iPadOS 26上,台前调度在以下iPad机型上可用: 13英寸iPad Pro(M4芯片);

  • 苹果iPadOS 26脱胎换骨:一大波功能向macOS看齐

    苹果召开WWDC 2025全球开发者大会,发布了全新的iPadOS 26。 以下是苹果公司今日宣布的所有iPadOS 26新功能,这些更新将使iPad拥有接近macOS的使用体验。 应用窗口现在可自由调整大小。 支持同时打开多个窗口。 通过新的分屏手势,可将窗口调整为半屏、三分之一或四分之一大小。 每个窗口新增红、黄、绿交通灯按钮,对应的分别是关闭、最小化和最大化。 应用重启后会记�

  • 苹果macOS 26 Tahoe发布:全新玻璃风格 顶栏全透明设计

    据媒体报道,在备受瞩目的WWDC25开发者大会上,苹果正式揭晓了新一代操作系统:macOS 26 Tahoe。此次更新带来了从视觉焕新到功能强化的全方位升级。 macOS 26 Tahoe采用了全新的玻璃质感设计语言,覆盖了Dock栏、应用图标乃至桌面小部件。原生应用界面深度融入了这一风格,顶栏实现全透明化,营造出通透灵动的整体观感。用户还能自定义系统文件夹的配色方案,个性化体验得�

  • macOS 26液态玻璃“致敬”Windows Vista:微软罕见贴脸嘲讽

    苹果正式发布了全新的macOS 26操作系统,其中采用了液态玻璃”(Liquid Glass)设计语言。 不有有不少人指出,这一设计与2006年Windows Vista的毛玻璃(Aero Glass)设计极为相似。 此前通常避免在竞争对手发布新产品时发表评论的微软,日前也在官方Instagram账号上发布了一段视频,并称就把它放这了”,调侃苹果的这一设计致敬”了Windows Vista。 微软发布的视频中,使用了#WindowsAer

  • OpenAI 提升o3多模态模型推理实力,微美全息(WIMI.US)加速引领产业新变革征程

    OpenAI推出突破性的o3推理模型,首次实现图像直接融入推理过程,在多模态基准测试V* Bench上准确率达95.7%。DeepSeek完成R1模型升级,上下文窗口从12K扩展至23K,幻觉率降低45%-50%。行业呈现开源趋势,DeepSeek开源策略促使多家企业跟进,OpenAI也考虑开源。微美全息加速布局多模态大模型,计划提供实时多模态AI体验。专家指出AI发展重心正从大模型向智能体演进,开源技术显著降低训练门槛,提升泛化能力,为多模态智能探索开辟新路径。企业需紧跟趋势把握机遇,在大模型驱动的新时代找准定位。

  • iPad、MacBook、Apple Watch京东PLUS享无门槛9折优惠 至高再减500元!

    京东618推出Apple产品多重优惠:iPhone 16系列最高直降2000元,叠加消费券后512GB版低至7599元起;128GB版享国家补贴后仅5499元起,以旧换新可再减1200元。iPad Air/MacBook Air等享PLUS会员9折叠加国家补贴,如11英寸iPad Air到手价3369元。Apple Watch S10到手1787元起,AirPods4会员价1019元起。所有产品现货发售,优惠券每日10点限量抢,搜索"苹果惊喜券"直达活动页面。

  • 算力赋能营销革新,东信云与华为云签约共建多模态大模型应用标杆

    6月21日,东信云与华为云在HDC2025大会上签署合作协议,双方将基于昇腾AI云服务深化合作,重点布局多模态大模型应用与数字人技术。合作内容包括:1)构建智能营销系统,整合文本、图像、视频等多元数据,提升市场分析和消费者行为预测能力;2)通过大模型实现营销内容自动化生成,包括新闻稿、社交媒体帖子和广告文案;3)优化大模型架构,提升训练和推理效率。东信云6月发布的"数字人智能引擎"已实现分钟级生成逼真数字人,显著提升推荐转化率。双方还将联合行业伙伴共建营销大模型生态系统,推动营销行业智能化升级。

  • 「6月30日AI日报」百度开源文心大模型4.5系列;通义千问发布多模态生成模型Qwen VLo

    AI日报精选:1)百度开源文心大模型4.5系列,含10款新模型,性能优异;2)通义千问发布多模态模型Qwen-VL,支持图文交互;3)阿里开源3亿参数多模态模型Ovis-U1;4)华为开源盘古7B稠密和72B混合专家模型;5)美图MOKI推出AI创意广告功能,一键生成专业视频;6)谷歌Gemini 2.5 Pro API重新免费开放;7)豆瓣上线"深入研究"AI功能;8)小米"AI百宝箱"结束内测;9)北京智研院开源多模态系统OmniGen2;10)知乎升级"直答"知识库功能。