11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
提示工程师RileyGoodside小哥,依然在用「Strawberry里有几个r」折磨大模型们,GPT-4o在无限次PUA后,已经被原地逼疯!相比之下,Claude坚决拒绝PUA,是个大聪明。谷歌最近的论文也揭示了本质原因:LLM没有足够空间,来存储计数向量。这表明在计数任务中,我们可能需要借助于不具有相同限制的工具,例如代码解释器等。
Transformer八子中最年轻的AidanGomez在最新的采访中感叹:谷歌版的AidanGomez,是给AI领域带来深远影响的Transformer作者之一。现在的AidanGomez,是估值飙升55亿美元的Cohere公司的联合创始人兼CEO。所以我认为我们的首要任务应该是提高生产力和增长。
【新智元导读】就在刚刚,Meta最新发布的Transfusion,能够训练生成文本和图像的统一模型了!完美融合Transformer和扩散领域之后,语言模型和图像大一统,又近了一步。真正的多模态AI模型,可能很快就要来了!Transformer和Diffusion,终于有了一次出色的融合。他在卡耐基梅隆大学语言技术研究所获得博士学位,师从EduardHovy教授,并在上海交通大学获得了计算机科学硕士和学士学位�
出任Gemini联合技术主管!这就是Transformer“贡献最大”作者NoamShazeer,重返谷歌后的最新动向。据TheInformation的更多爆料,Shazeer将与谷歌AI主管JeffDean和DeepMind首席科学家OriolVinyals,一起致力于Gemini的开发。这也让人不得不感慨,即使是AI搜索,在盈利模式上还是和传统搜索一样,都得靠广告。
「因果推理」绝对是当前GenAI热潮下的小众领域,但是它有一个大佬级的坚定支持者——YannLeCun。他在推特上的日常操作之一,就是炮轰Sora等生成模型,并为自己坚信的因果推理领域摇旗呐喊。受JudeaPearl愿景的启发,这项工作代表着一个潜在的新科学前沿——因果关系研究和语言模型的交叉点上。
什么AI应用每秒处理20000个AI推理请求,达到2024年谷歌搜索流量的1/5?答案是独角兽Character.ai,由Transformer作者NoamShazeer创办。沙哥公布了推理优化独门秘诀,迅速引起业界热议。最近有消息称,Meta与马斯克的𝕏都在争取与他们合作,把聊天机器人引入社交平台。
马毅教授团队最近取得了显著的研究成果,他们开发的CRATE-α模型首次证实了白盒Transformer架构的可扩展性。这一进展对于自然语言处理、图像处理和视觉计算领域的深度表征学习具有重要意义。这些研究成果不仅推动了Transformer模型的发展,也为未来的研究和应用开辟了新的道路。
多层感知器,也被称为全连接前馈神经网络,是当今深度学习模型的基础构建块。MLP的重要性无论怎样强调都不为过,因为它们是机器学习中用于逼近非线性函数的默认方法。
来自南京大学、上海人工智能实验室、复旦大学、浙江大学的研究队发布了一项关于视频理解的开创性工作。该研究全面审视了Mamba模型在建模中的多重角色,提出了针对14种模型/模块的VideoMambaSuite,并对其在12项视频理解任务中进行了深估。综合实验结果显示,Mamba模型在视频理解领域具潜在的优势和多样化的角色,为未来视频理解研究提供了有力的推动和参考价值。
谷歌终于更新了Transformer架构。最新发布的Mixture-of-Depths,改变了以往Transformer计算模式。这篇论文目前被引次数超过3500次,论文核心定义了Inductivebias概念。
3月29日,知名AI研究实验室AI21在官网开源了,首个基于SSM-Transformer混合架构的商业大模型——Jamba。ChatGPT、StableDifusion、Lyria等产品使用的皆是Transformer架构,虽然在捕捉序列内长距离依赖关系、泛化能力、特征提取等方面非常优秀,但在处理长序列、训练大参数模型时存在AI算力消耗大、过拟合、内存占用大等缺点。耐克、Zoom、沃尔玛、三星、阿迪达斯、airbnb等知名企业在使�
Transformer作者中唯一去了OpenAI的那位,公开承认了:他参与了Q*项目,是这项新技术的发明者之一。这几天除了英伟达老黄组局把Transformer作者聚齐,他们中的几位还接受了连线杂志的采访,期间出了这么一个小插曲。但当时谷歌高层仍旧不为所动,关键决策者忽略甚至嘲笑他。
【新智元导读】刚刚,OpenAI超级对齐团队负责人官宣开源Transformer调试器。研究人员不用写代码,就能快速探索LLM的内部构造了!AGI真的越来越近了!为了确保人类不被AI杀死,在解密神经网络/Transfomer黑箱这一方面,OpenAI从未停下脚步。研究人员使用了了几个附加指标的组合:不过研究人员也表示,希望从Transformer上训练的稀疏自动编码器中,为字典学习解决方案确定更好的指标。
SnapVideo是一个视频优先的模型,通过延伸EDM框架系统地解决视频生成领域的挑战,如运动保真度、视觉质量和可扩展性。该模型利用帧间的冗余信息,提出了一个可伸缩的transformer架构,将空间和时间维度作为一个高度压缩的1D潜在向量,从有效地进行空间时间联合建模,合成时间连贯性强、运动复杂的视频。现在就访问SnapVideo官方网站,体验视频合成Transformer架构的引领技术�
灵活视觉变换器是一种全新的Transformer架构图像生成模型,专门设计用于创造没有分辨率和宽高比限制的图像。相较于传统将图像视为固定分辨率网格的方法,FiT将图像视为一系列可变大小的图像块。FiT的问世将为图像生成领域带来新的可能性,为用户提供更加灵活多样的图像生成体验。
随着大模型的崛起,RNN模型Eagle7B挑战了Transformer的霸主地位。该模型在多语言基准测试中表现卓越,同时推理成本降低数十倍。通过不断探索和创新,人工智能技术将更好地为人类社会和个体提供服务。
【新智元导读】当前的视觉模型哪个更好?Meta团队最新一波研究来了。如何根据特定需求选择视觉模型?ConvNet/ViT、supervised/CLIP模型,在ImageNet之外的指标上如何相互比较?来自MABZUAI和Meta的研究人员发表的最新研究,在「非标准」指标上全面比较了常见的视觉模型。-CLIP模型具有较高的形状偏差,与其ImageNet精度相比,分类错误较少。
【新智元导读】AI算命将可以预测人类的意外死亡?丹麦科学家用全国600万人的公开数据训练了一个基于Transformer的模型,成功预测了意外死亡和性格特点。AI真的可以用来科学地算命了!?丹麦技术大学的研究人员声称他们已经设计出一种人工智能模型,据说可以预测人们的生活中的重大事件和结果,包括每个人死亡的大致时间。当研究人员查看低概率区域的实际死亡时,研究人�
美国芯片初创公司EtchedAI近日宣称,他们成功开创了一项新的技术,将Transformer架构直接“烧录”到了芯片中,创造出了世界上最强大的专门用于Transformer推理的服务器Sohu。这项技术可以运行万亿参数的模型,甩英伟达几百条街。这一突破性技术的问世,将为Transformer架构的应用带来新的可能性。
Transformer作者创立的大模型公司,再获5650万美元投资,换算成人民币有四亿多。英伟达、AMD有两位创始人的老东家谷歌,都是这轮融资的参投者。EssentialAI的业务并不会与Adept产生直接竞争。
【新智元导读】今天,李飞飞携斯坦福联袂谷歌,用Transformer生成了逼真视频,效果媲美Gen-2比肩Pika。2023年俨然已成AI视频元年!视频大数据时代,真的来了!刚刚,李飞飞的斯坦福团队同谷歌合作,推出了用于生成逼真视频的扩散模型W.A.L.T。研究人员发现联合培训可以使这两个指标都有显著改善。
最新研究指出,经过过度训练,中度的Transformer模型能够展现出结构性泛化能力,这一现象被称为"结构顿悟"。在自然语言处理中,先前的研究认为像Transformer这样的神经序列模型在泛化到新的结构输入时难以有效地捕捉句子的层级结构。这一发现有望在未来的深度学习研究中引起更多关注,为模型设计和训练策略提供指导。
Adobe研究人员与斯坦福大学团队联合提出了一种名为DMV3D的全新3D生成方法。该方法旨在解决增强现实、虚拟现实、机器人技术和游戏等领域中3D资产创建的共同挑战。该研究为通过统一3D重建和生成的2D和3D生成模型的领域之间的鸿沟,以解决3D视觉和图形领域中的各种挑战,提供了新的视角和可能性。
斯坦福大学和卡内基梅隆大学的研究团队联合提出了一种新的序列模型,名为Mamba,它在语言、音频和DNA序列等任务上超越了Transformer模型。Mamba采用了一种新的架构,具有线性复杂度和更高的推理吞吐量。Mamba的出现对于序列建模领域来说是一个重要的突破,未来还有许多研究和实践的工作需要进行。
在别的领域,如果你想形容一个东西非常重要,你可能将其形容为「撑起了某领域的半壁江山」。但在AI大模型领域,Transformer架构不能这么形容,因为它几乎撑起了「整个江山」。与类似规模的Transformer相比,Mamba具有5倍的生成吞吐量Mamba-3B的质量与两倍于其规模的Transformer相当。
在当前技术发展的背景下,英特尔公司推出的ExtensionforTransformers工具包成为一个重要创新,实现了在CPU上对大型语言模型推理性能的显著加速。该工具包通过LLMRuntime技术,优化了内核,支持多种量化选择,提供更优的KV缓存访问和内存分配策略,使得首个token和下一个token的推理速度分别提升多达40倍和2.68倍。通过不断引入先进的技术和解决实际问题的能力,该工具包展现了英�
在计算机图形学中,「三角形网格」是3D几何物体的主要表现形式,也是游戏、电影和VR界面中主要使用的3D资产表示方法。业界通常基于三角形网格来模拟复杂物体的表面,如建筑、车辆、动物,常见的几何变换、几何检测、渲染着色等动作,也需要基于三角形网格进行。如下图9所示,MeshGPT还可以基于给定的局部形状推断出多种可能的补全,生成多种形状假设。
来自UC伯克利,港大等机构的研究人员,开创性地提出了一种「白盒」Transformer结构——CRATE。他们通过将数据从高维度分布压缩到低维结构分布,实现有效的表征,从进一步实现了有竞争力的模型性能。如果CKPT_DIR是None,则此脚本用于在CIFAR10上通过随机初始化来训练CRATE。
小羊驼团队的新研究火了。他们开发了一种新的解码算法,可以让模型预测100个token数的速度提高1.5-2.3倍,进加速LLM推理。其中有两位华人:傅奕超以及张昊,后者博士毕业于CMU,硕士毕业于上交大,现在是加州大学圣地亚哥分校助理教授。
RNA3D结构预测是一个长期存在的挑战。受最近蛋白质结构预测领域突破的启发,南开大学、山东大学以及北京理工大学的研究团队开发了trRosettaRNA,这是一种基于深度学习的自动化RNA3D结构预测方法。为了克服对已知RNA折叠的偏见,可以利用神经网络来学习力场或识别/组装局部图案不是直接预测全局3D结构。