11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
研究人员提出了一种名为Garment3DGen的方法,旨在实现3D服装的风格化和纹理生成。该方法通过结合先进的计算机视觉技术和人工智能算法,为用户提供了一个简单高效的工具,用于实现服装设计的个性化风格化。随着这一技术的不断完善和推广,我们有理由相信,未来的服装设计将更加多样化和个性化。
3月29日,知名AI研究实验室AI21在官网开源了,首个基于SSM-Transformer混合架构的商业大模型——Jamba。ChatGPT、StableDifusion、Lyria等产品使用的皆是Transformer架构,虽然在捕捉序列内长距离依赖关系、泛化能力、特征提取等方面非常优秀,但在处理长序列、训练大参数模型时存在AI算力消耗大、过拟合、内存占用大等缺点。耐克、Zoom、沃尔玛、三星、阿迪达斯、airbnb等知名企业在使�
Transformer作者中唯一去了OpenAI的那位,公开承认了:他参与了Q*项目,是这项新技术的发明者之一。这几天除了英伟达老黄组局把Transformer作者聚齐,他们中的几位还接受了连线杂志的采访,期间出了这么一个小插曲。但当时谷歌高层仍旧不为所动,关键决策者忽略甚至嘲笑他。
【新智元导读】刚刚,OpenAI超级对齐团队负责人官宣开源Transformer调试器。研究人员不用写代码,就能快速探索LLM的内部构造了!AGI真的越来越近了!为了确保人类不被AI杀死,在解密神经网络/Transfomer黑箱这一方面,OpenAI从未停下脚步。研究人员使用了了几个附加指标的组合:不过研究人员也表示,希望从Transformer上训练的稀疏自动编码器中,为字典学习解决方案确定更好的指标。
SnapVideo是一个视频优先的模型,通过延伸EDM框架系统地解决视频生成领域的挑战,如运动保真度、视觉质量和可扩展性。该模型利用帧间的冗余信息,提出了一个可伸缩的transformer架构,将空间和时间维度作为一个高度压缩的1D潜在向量,从有效地进行空间时间联合建模,合成时间连贯性强、运动复杂的视频。现在就访问SnapVideo官方网站,体验视频合成Transformer架构的引领技术�
灵活视觉变换器是一种全新的Transformer架构图像生成模型,专门设计用于创造没有分辨率和宽高比限制的图像。相较于传统将图像视为固定分辨率网格的方法,FiT将图像视为一系列可变大小的图像块。FiT的问世将为图像生成领域带来新的可能性,为用户提供更加灵活多样的图像生成体验。
随着大模型的崛起,RNN模型Eagle7B挑战了Transformer的霸主地位。该模型在多语言基准测试中表现卓越,同时推理成本降低数十倍。通过不断探索和创新,人工智能技术将更好地为人类社会和个体提供服务。
在深度学习技术的推动下,图像分割领域发生了巨大变革VisionTransformers在其中发挥了重要作用。本文介绍了一种基于Transformer的图像分割模型——Mask2Former,该模型在语义、实例和全景分割任务上都能够使用相同的架构,具有通用性。在实际应用中,需要根据具体需求权衡模型性能和资源消耗,选择合适的模型。
【新智元导读】当前的视觉模型哪个更好?Meta团队最新一波研究来了。如何根据特定需求选择视觉模型?ConvNet/ViT、supervised/CLIP模型,在ImageNet之外的指标上如何相互比较?来自MABZUAI和Meta的研究人员发表的最新研究,在「非标准」指标上全面比较了常见的视觉模型。-CLIP模型具有较高的形状偏差,与其ImageNet精度相比,分类错误较少。
曾对GoogleFuchsia抱有多大期望,现在恐就会有多少失望。据外媒9to5google最新报道,Google决定不再将完整的Chrome浏览器引入Fuchsia操作系统上。”最后,你如何看待Google不再将完整的Chrome浏览器引入Fuchsia?欢迎分享你的看法。
【新智元导读】AI算命将可以预测人类的意外死亡?丹麦科学家用全国600万人的公开数据训练了一个基于Transformer的模型,成功预测了意外死亡和性格特点。AI真的可以用来科学地算命了!?丹麦技术大学的研究人员声称他们已经设计出一种人工智能模型,据说可以预测人们的生活中的重大事件和结果,包括每个人死亡的大致时间。当研究人员查看低概率区域的实际死亡时,研究人�
CodeFormer是一个基于Transformer预测网络的图片马赛克恢复工具。它通过学习离散码本和解码器来减少恢复映射的不确定性,并能生成高质量的人脸图像。对于技术人员,CodeFormer提供了基于API的使用方法,包括安装Python客户端、获取API令牌以及运行模型来优化和恢复图像。
CodeFormer是一款强大的人脸修复工具,由南洋理工大学和商汤科技联合研究中心联合开发。它是一款开源免费的软件,为广大的开发者提供了便利的条件,让他们可以轻松地将自己的项目与这款强大的工具相结合。开源免费:CodeFormer是一款开源免费的软件,为广大的开发者提供了便利的条件,可以轻松地将自己的项目与这款强大的工具相结合。
美国芯片初创公司EtchedAI近日宣称,他们成功开创了一项新的技术,将Transformer架构直接“烧录”到了芯片中,创造出了世界上最强大的专门用于Transformer推理的服务器Sohu。这项技术可以运行万亿参数的模型,甩英伟达几百条街。这一突破性技术的问世,将为Transformer架构的应用带来新的可能性。
Transformer作者创立的大模型公司,再获5650万美元投资,换算成人民币有四亿多。英伟达、AMD有两位创始人的老东家谷歌,都是这轮融资的参投者。EssentialAI的业务并不会与Adept产生直接竞争。
【新智元导读】今天,李飞飞携斯坦福联袂谷歌,用Transformer生成了逼真视频,效果媲美Gen-2比肩Pika。2023年俨然已成AI视频元年!视频大数据时代,真的来了!刚刚,李飞飞的斯坦福团队同谷歌合作,推出了用于生成逼真视频的扩散模型W.A.L.T。研究人员发现联合培训可以使这两个指标都有显著改善。
最新研究指出,经过过度训练,中度的Transformer模型能够展现出结构性泛化能力,这一现象被称为"结构顿悟"。在自然语言处理中,先前的研究认为像Transformer这样的神经序列模型在泛化到新的结构输入时难以有效地捕捉句子的层级结构。这一发现有望在未来的深度学习研究中引起更多关注,为模型设计和训练策略提供指导。
Adobe研究人员与斯坦福大学团队联合提出了一种名为DMV3D的全新3D生成方法。该方法旨在解决增强现实、虚拟现实、机器人技术和游戏等领域中3D资产创建的共同挑战。该研究为通过统一3D重建和生成的2D和3D生成模型的领域之间的鸿沟,以解决3D视觉和图形领域中的各种挑战,提供了新的视角和可能性。
斯坦福大学和卡内基梅隆大学的研究团队联合提出了一种新的序列模型,名为Mamba,它在语言、音频和DNA序列等任务上超越了Transformer模型。Mamba采用了一种新的架构,具有线性复杂度和更高的推理吞吐量。Mamba的出现对于序列建模领域来说是一个重要的突破,未来还有许多研究和实践的工作需要进行。
在别的领域,如果你想形容一个东西非常重要,你可能将其形容为「撑起了某领域的半壁江山」。但在AI大模型领域,Transformer架构不能这么形容,因为它几乎撑起了「整个江山」。与类似规模的Transformer相比,Mamba具有5倍的生成吞吐量Mamba-3B的质量与两倍于其规模的Transformer相当。
在当前技术发展的背景下,英特尔公司推出的ExtensionforTransformers工具包成为一个重要创新,实现了在CPU上对大型语言模型推理性能的显著加速。该工具包通过LLMRuntime技术,优化了内核,支持多种量化选择,提供更优的KV缓存访问和内存分配策略,使得首个token和下一个token的推理速度分别提升多达40倍和2.68倍。通过不断引入先进的技术和解决实际问题的能力,该工具包展现了英�
在计算机图形学中,「三角形网格」是3D几何物体的主要表现形式,也是游戏、电影和VR界面中主要使用的3D资产表示方法。业界通常基于三角形网格来模拟复杂物体的表面,如建筑、车辆、动物,常见的几何变换、几何检测、渲染着色等动作,也需要基于三角形网格进行。如下图9所示,MeshGPT还可以基于给定的局部形状推断出多种可能的补全,生成多种形状假设。
来自UC伯克利,港大等机构的研究人员,开创性地提出了一种「白盒」Transformer结构——CRATE。他们通过将数据从高维度分布压缩到低维结构分布,实现有效的表征,从进一步实现了有竞争力的模型性能。如果CKPT_DIR是None,则此脚本用于在CIFAR10上通过随机初始化来训练CRATE。
小羊驼团队的新研究火了。他们开发了一种新的解码算法,可以让模型预测100个token数的速度提高1.5-2.3倍,进加速LLM推理。其中有两位华人:傅奕超以及张昊,后者博士毕业于CMU,硕士毕业于上交大,现在是加州大学圣地亚哥分校助理教授。
RNA3D结构预测是一个长期存在的挑战。受最近蛋白质结构预测领域突破的启发,南开大学、山东大学以及北京理工大学的研究团队开发了trRosettaRNA,这是一种基于深度学习的自动化RNA3D结构预测方法。为了克服对已知RNA折叠的偏见,可以利用神经网络来学习力场或识别/组装局部图案不是直接预测全局3D结构。
Meta的研究者发表了一项关于Transformer架构的新研究,提出了一种名为System2Attention的全新注意力机制。该研究旨在解决大型语言模型在推理能力上的不足,特别是在处理复杂任务时可能出现的错误。S2A的引入为解决当前LLM推理能力不足的问题提供了一种创新性的解决方案。
说起大语言模型所展示的令人印象深刻的能力,其中之一就是通过提供上下文中的样本,要求模型根据最终提供的输入生成一个响应,从实现少样本学习的能力。这一点依靠的是底层机器学习技术「Transformer模型」,并且它们也能在语言以外的领域执行上下文学习任务。更多研究细节,可参考原论文。
谷歌DeepMind的研究人员进行了实验,旨在探讨Transformer模型是否能够在超出预训练数据范围之外泛化出新的认知和能力。他们的研究发现,几乎不可能要求模型在超出预训练数据范围之外解决新问题。这对于机器学习和人工智能领域的研究和发展具有重要意义。
大型语言模型,如GPT-3、PaLM和OPT,以其卓越的性能和能够在上下文中学习的能力,令人叹为观止。它们在推断时的高成本是它们的显著缺点。这些有前途的实验结果突显了上下文稀疏性在显著减少推断延迟方面的潜力,相较于现有模型,这项研究使LLM更容易被更广泛的AI社区使用,可能开启令人兴奋的新的AI应用。
Transformer模型在自然语言处理和计算机视觉领域取得了巨大成功,但它的高成本、复杂性以及依赖于注意力机制和多层感知机等组件使得人们开始寻求替代方案。一篇题为《比Transformer更好,无Attention、MLPs的BERT、GPT反更强了》的文章介绍了一种名为MonarchMixer的全新模型架构,这个架构在序列长度和模型维度上都表现出次二次复杂度的特点,同时在现代硬件加速器上具有出色的�