ambientGPT是一款多模态 MacOS 基础模型操作界面,可以调用GPT-4oAPI 或者本地开源模型进行问答,并能直接访问屏幕内容而不需要截图。它的本地模型是基于 Apple 的 MLX 库,技术栈包括 Python + Node。
产品入口:https://top.aibase.com/tool/ambientgpt
视频来源:X用户 @siddrrsh
(举报)
ambientGPT是一款多模态 MacOS 基础模型操作界面,可以调用GPT-4oAPI 或者本地开源模型进行问答,并能直接访问屏幕内容而不需要截图。它的本地模型是基于 Apple 的 MLX 库,技术栈包括 Python + Node。
产品入口:https://top.aibase.com/tool/ambientgpt
视频来源:X用户 @siddrrsh
(举报)
11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
一款名为ambientGPT的开源项目备受关注。这款工具是一款多模态MacOS基础模型操作界面,可以调用GPT-4oAPI或者本地开源模型进行问答,并能直接访问屏幕内容不需要截图。该技术的推出,预示着未来在智能模型应用领域将会迎来更多创新和便利。
AmbientGPT是什么?AmbientGPT是一个革命性的编程辅助工具,允许开发者在本地运行GPT-4和基础模型,同时能够直接推断屏幕上下文,从无需手动上传上下文信息,大大提高了代码编写和问题解决的效率。访问AIbase,探索各种AI工具和技术,开启智能时代!
要说全世界戏最多的AI,非OpenAI莫属。这家公司简直就是热搜制造机,刚推出新产品,就送走老领导,刚和苹果结盟,就逼跌谷歌股价;连OpenAI高管的一个离职动态,都能引发网上的OpenAI离职潮。▲图:另一款AI的回答类似的奇怪回答层出不穷,比如问它圆周率最后5位数字,是这么回答的。
全球知名设计工具Figma正在经历前所未有的革新,其最新版本GPT-4o已经实现了自动化生成设计的功能。这意味着用户只需提供产品需求文档,GPT-4o就能够根据文档内容自动生成符合设计规范的Figma设计。有评论者甚至称这是“正在发生的未来”,并表示这将彻底改变设计行业的格局。
字节Coze海外版官方宣布,他们已经成功集成了OpenAI推出的最新AI助手GPT-4o,为用户带来了更智能、更强大的聊天体验。GPT-4o是OpenAI的最新力作,它的加入将为Coze用户提供更便捷、更高效的沟通和交流方式。在社交平台竞争日益激烈的当下,Coze通过引入GPT-4o等先进技术,为用户提供更全面、更智能的社交体验,助力用户更好地进行交流与互动。
5月31日,OpenAI在官网宣布,推出ChatGPTEdu版本。这是一个专门为大学校园提供的ChatGTP,支持GPT-4o、网络搜索、自定义GPT、数据分析、代码生成等功能,可以极大提升学生、老师的学习质量和教学效率。2024年春季已经启动了105个秋天会再启动114个项目,主要有三个目的改善教学质量,增强教育数据资源的利用以及加速创新技术的研究进程。
由GPT-4o提供支持的技术能够根据产品需求文档自动生成Figma设计稿。这一技术主要针对移动端应用进行优化,支持使用高质量的设计系统,如AntDesignMobile和ArcoMobile。所有生成的设计草稿都采用自动布局,并支持自适应拉伸,图层也具有语义化命名,便于用户理解和后续修改。
Meta最近发布了一个名为Chameleon的多模态模型,它在多模态模型发展中设立了新的标杆。Chameleon是一个早期融合的基于token的混合模态模型家族,能够理解并生成任意顺序的图像和文本。Chameleon模型的发布,展示了Meta在多模态模型领域的重大进展,它不仅推动了多模态模型的发展,也为未来的研究和应用提供了新的可能性。
GPT-4o亮相没两天,背后Omni团队就被扒了个底朝天:领衔者,是DALL·E2/3研究团队成员、ScalingLaw共同提出者。更深层次的,团队组成和Sora有着类似的规律:不怕启用新人,并且狠狠重任新人。如今频繁的产品级更新、搜索引擎的布局以及同苹果Siri的合作……更多商业化操作不一足,OpenAI和奥特曼的野心由此可见。
GPT-4o亮相没两天,背后Omni团队就被扒了个底朝天:领衔者,是DALL·E2/3研究团队成员、ScalingLaw共同提出者。更深层次的,团队组成和Sora有着类似的规律:不怕启用新人,并且狠狠重任新人。如今频繁的产品级更新、搜索引擎的布局以及同苹果Siri的合作……更多商业化操作不一足,OpenAI和奥特曼的野心由此可见。
Nemotron-4-340B-Reward是由NVIDIA开发的多维奖励模型,用于合成数据生成管道,帮助研究人员和开发者构建自己的大型语言模型(LLMs)。该模型由Nemotron-4-340B-Base模型和一个线性层组成,能够将响应末尾的标记转换为五个标量值,对应于HelpSteer2属性。它支持最多4096个标记的上下文长度,并能够对每个助手轮次的五个属性进行评分。
Nemotron-4-340B-Instruct是由NVIDIA开发的大型语言模型(LLM),专为英文单轮和多轮对话场景优化。该模型支持4096个token的上下文长度,经过监督式微调(SFT)、直接偏好优化(DPO)和奖励感知偏好优化(RPO)等额外的对齐步骤。模型在约20K人工标注数据的基础上,通过合成数据生成管道合成了超过98%的用于监督微调和偏好微调的数据。这使得模型在人类对话偏好、数学推理、编码和指令遵循方面表现良好,并且能够为多种用例生成高质量的合成数据。
BookSlice是一款面向忙碌人群的游戏化阅读应用,通过心理学原理帮助用户建立阅读习惯,并通过设置每日挑战来维持阅读连续性。它利用实施意图、习惯叠加等心理工具,使阅读变得习惯性和上瘾。此外,BookSlice还提供AI问答功能,帮助用户在阅读过程中获得上下文答案。
agentUniverse 是一个基于大型语言模型的多智能体应用开发框架,提供了构建单一智能体和多智能体协作机制的所有必需组件。通过模式工厂,允许开发者构建和自定义多智能体协作模式,轻松构建多智能体应用,并分享不同技术与业务领域的模式实践。
HunyuanDiT Distillation Acceleration 是腾讯 Hunyuan 团队基于 HunyuanDiT 模型开发的蒸馏加速版本。通过渐进式蒸馏方法,在不降低性能的情况下,实现了推理速度的两倍提升。该模型支持多种GPU和推理模式,能够显著减少时间消耗,提高图像生成效率。
WonderWorld是一个创新的3D场景扩展框架,允许用户基于单张输入图片和用户指定的文本探索和塑造虚拟环境。它通过快速高斯体素和引导扩散的深度估计方法,显著减少了计算时间,生成几何一致的扩展,使3D场景的生成时间少于10秒,支持实时用户交互和探索。这为虚拟现实、游戏和创意设计等领域提供了快速生成和导航沉浸式虚拟世界的可能性。
ChatTTS_Speaker是一个基于ERes2NetV2说话人识别模型的实验性项目,旨在对音色进行稳定性评分和音色打标,帮助用户选择稳定且符合需求的音色。项目已开源,支持在线试听和下载音色样本。
fastc是一个基于大型语言模型嵌入的简单且轻量级的文本分类工具。它专注于CPU执行,使用高效的模型如deepset/tinyroberta-6l-768d生成嵌入。通过余弦相似度分类代替微调,实现文本分类。它还可以在不增加额外开销的情况下,使用相同的模型运行多个分类器。
MeshAnything是一个利用自回归变换器进行艺术家级网格生成的模型,它可以将任何3D表示形式的资产转换为艺术家创建的网格(AMs),这些网格可以无缝应用于3D行业。它通过较少的面数生成网格,显著提高了存储、渲染和模拟效率,同时实现了与先前方法相当的精度。
HunyuanDiT-v1.1是由腾讯Hunyuan团队开发的一款多分辨率扩散变换模型,它具备精细的中英文理解能力。该模型通过精心设计的变换器结构、文本编码器和位置编码,结合从头开始构建的完整数据管道,实现数据的迭代优化。HunyuanDiT-v1.1能够执行多轮多模态对话,根据上下文生成和细化图像。经过50多名专业人类评估员的全面评估,HunyuanDiT-v1.1在中文到图像生成方面与其他开源模型相比,达到了新的最先进水平。
UniAnimate是一个用于人物图像动画的统一视频扩散模型框架。它通过将参考图像、姿势指导和噪声视频映射到一个共同的特征空间,以减少优化难度并确保时间上的连贯性。UniAnimate能够处理长序列,支持随机噪声输入和首帧条件输入,显著提高了生成长期视频的能力。此外,它还探索了基于状态空间模型的替代时间建模架构,以替代原始的计算密集型时间Transformer。UniAnimate在定量和定性评估中都取得了优于现有最先进技术的合成结果,并且能够通过迭代使用首帧条件策略生成高度一致的一分钟视频。
LVBench是一个专门设计用于长视频理解的基准测试,旨在推动多模态大型语言模型在理解数小时长视频方面的能力,这对于长期决策制定、深入电影评论和讨论、现场体育解说等实际应用至关重要。
Mo是一款结合超现实主义艺术和堂吉诃德理想主义精神的AI科技学习APP。它通过卡片形式,以图文、动画、视频、语音等多样化内容,使AI和科技知识的学习变得生动有趣。Mo不仅覆盖了AI的基础知识,还包含了元宇宙、大数据、大模型等前沿技术,适合各种背景的学习者,旨在打造一个个性化的学习体验。
开搜AI问答搜索引擎是一款面向大众的、直达答案的AI问答搜索引擎,它能够帮助用户从海量的文献资料中筛选出有用的信息,提供直接、精准的答案,并且能够自动总结重点、生成大纲、思维导图并下载。
AI Math Notes 是一个开源的交互式绘图应用程序,允许用户在画布上绘制数学方程。应用程序利用多模态大型语言模型(LLM)计算并显示结果。该应用程序使用Python开发,利用Tkinter库创建图形用户界面,使用PIL进行图像处理。灵感来源于Apple在2024年全球开发者大会(WWDC)上展示的'Math Notes'。
VideoTetris是一个新颖的框架,它实现了文本到视频的生成,特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术,精确地遵循复杂的文本语义,并通过操作和组合去噪网络的空间和时间注意力图来实现。此外,它还引入了一种新的参考帧注意力机制,以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。
Visual Sketchpad 是一种为多模态大型语言模型(LLMs)提供视觉草图板和绘图工具的框架。它允许模型在进行规划和推理时,根据自己绘制的视觉工件进行操作。与以往使用文本作为推理步骤的方法不同,Visual Sketchpad 使模型能够使用线条、框、标记等更接近人类绘图方式的元素进行绘图,从而更好地促进推理。此外,它还可以在绘图过程中使用专家视觉模型,例如使用目标检测模型绘制边界框,或使用分割模型绘制掩码,以进一步提高视觉感知和推理能力。
GoMate是一个基于Retrieval-Augmented Generation (RAG)框架的模型,专注于提供可靠输入和可信输出。它通过结合检索和生成技术,提高信息检索和文本生成的准确性和可靠性。GoMate适用于需要高效、准确信息处理的领域,如自然语言处理、知识问答等。
SD3-Controlnet-Canny 是一种基于深度学习的图像生成模型,它能够根据用户提供的文本提示生成具有特定风格的图像。该模型利用控制网络技术,可以更精确地控制生成图像的细节和风格,从而提高图像生成的质量和多样性。
EMMA是一个基于最前沿的文本到图像扩散模型ELLA构建的新型图像生成模型,能够接受多模态提示,通过创新的多模态特征连接器设计,有效整合文本和补充模态信息。该模型通过冻结原始T2I扩散模型的所有参数,并仅调整一些额外层,揭示了预训练的T2I扩散模型可以秘密接受多模态提示的有趣特性。EMMA易于适应不同的现有框架,是生成个性化和上下文感知图像甚至视频的灵活有效工具。