11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
微软研究发布了名为LLMLingua-2的模型,用于任务不可知的提示压缩。该模型通过智能地去除长提示中的不必要词语或标记,同时保留关键信息,使得提示长度可减少至原长度的20%,从降低成本和延迟。该公司认为这是一个有前途的方法,可以通过压缩提示实现更好的泛化能力和效率。
微软的研究团队开发了一种名为LLMLingua的独特粗细压缩技术,旨在解决大型语言模型中长提示带来的问题。LLMs以其强大的泛化和推理能力显著推动了人工智能领域的发展,展示了自然语言处理、自然语言生成、计算机视觉等方面的能力。该方法表现出色,并提供了一种改善LLM应用程序的效果和可负担性的有用方式。
欢迎来到【今日AI】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。
生成AI在多模态理解和代码生成方面取得了显著进展,为前端开发带来了全新的范式。研究人员开展了对视觉设计转换为代码实现任务的系统研究。详细的细分指标表明,开源模型在从输入网页中召回视觉元素和生成正确布局设计方面大多落后在文本内容和着色方面则可以通过适当的微调得到显著改进。
在过去的2023年中,大型语言模型在潜力和复杂性方面都获得了飞速的发展。展望2024年的开源和研究进展,似乎我们即将进入一个可喜的新阶段:在不增大模型规模的前提下让模型变得更好,甚至让模型变得更小。论文标题:Astraios:Parameter-EfficientInstructionTuningCodeLargeLanguageModels论文地址:https://arxiv.org/abs/2401.00788这篇论文评估了不同的全微调和参数高效型微调技术,并且发现全微调�
穆罕默德・本・扎耶德人工智能大学VILALab带来了一项关于如何更好地为不同规模的大模型书写提示词的研究,让大模型性能在不需要任何额外训练的前提下轻松提升50%以上。该工作在X、Reddit和LinkedIn等平台上都引起了广泛的讨论和关注。更多提示词原则使用方法和说明,欢迎阅读原文。
谷歌正迅速成为其最好的朋友英伟达的强大对手——其超级计算机所使用的TPUv5p人工智能芯片比以往任何时候都更快、更大、更宽,甚至超过了强大的H100。谷歌在最近推出其Gemini人工智能模型的同时,也发布了其最新版本的旗舰张量处理单元,用于人工智能的训练和推理,这似乎是一种挑战英伟达自己的市场领先的图形处理器的尝试。粗略的计算表明,TPUv5p大约比A100快3.4到4.8倍,这使得它与H100相当或者更优秀,尽管在得出任何结论之前,需要更详细的基准测试。
【新智元导读】AI训AI必将成为一大趋势。Meta和NYU团队提出让大模型「自我奖励」的方法,让Llama2一举击败GPT-40613、Claude2、GeminiPro领先模型。还有人表示「令人惊讶的是,每次迭代的改进几乎保持线性,仅在3次迭代之后,就已经接近GPT-4级别」。
用AMD的软硬件系统也能训练GPT-3.5级别的大模型了。位于美国橡树岭国家实验室的全世界最大的超算Frontier,集合了37888个MI250XGPU和9472个Epyc7A53CPU。整个系统拥有602112个CPU核心,4.6PBDDR4内存。
2023年的LLM开源社区都发生了什么?来自HuggingFace的研究员带你回顾并重新认识开源LLM2023年的大语言模型,让几乎所有人都燃起了热情。现在大多数人都知道LLM是什么,以及可以做什么。常用的方法包括bitsandbytes、GPTQ和AWQ。
原本需要一张16万元的80GA100干的活,现在只需要一张不到2万元的24G4090就够了!上海交大IPADS实验室推出的开源推理框架PowerInfer,让大模型推理速度加快了11倍。且不用量化,就用FP16精度,也能让40B模型在个人电脑上运行;如果加入量化,2080Ti也能流畅运行70B模型。现有的云端CPU也有强大的AMX计算单元支持,通过利用CPU、GPU间的异构特征,可以乐观地认为PowerInfer能够使用更少的高
【新智元导读】谷歌全新视频生成模型VideoPoet再次引领世界!十秒超长视频生成效果碾压Gen-2可进行音频生成,风格转化。AI视频生成,或许就是2024年下一个最前沿的领域。对于未来的研究方向,谷歌研究人员表示,VideoPoet框架将会实现「any-to-any」的生成,比如扩展文本到音频、音频到视频,以及视频字幕等等。
图源备注:图片由AI生成,图片授权服务商Midjourney你可以用自然语言与机器人交谈,并要求它完成一项任务。未来对机器人的控制可能会像骑马,你可以把AI看作是骑手,机器人的物理智能就是马。未来的机器人的行动不会那么机械,动作会更流畅,就像人类。
智谱AI发布了专为中文大语言模型生的对齐评测基准AlignBench,这是目前第一个针对中文大模型的评测基准,能够在多维度上细致评测模型和人类意图的对齐水平。AlignBench的数据集来自于真实的使用场景,经过初步构造、敏感性筛查、参考答案生成和难度筛选等步骤,确保具有真实性和挑战性。通过登录AlignBench网站,提交结果可以使用CritiqueLLM作为评分模型进行评测,大约5分钟即可得到评测结果。
PerplexityAI,一家创新的人工智能初创公司,近日推出了一项能够改变信息检索系统的解决方案。该公司推出了两款新的大语言模型,分别是pplx-7b-online和pplx-70b-online,标志着首次通过API公开访问在线LLMs。通过API引入pplx-7b-online和pplx-70b-online模型解决了现有离线LLMs的局限性,并展示了在提供准确、实时和真实信息方面的卓越性能。
InflectionAI最近推出的语言模型Inflection-2,被宣称为全球计算级别最佳的AI模型,位列全球第二最强大的大型语言模型,仅次于OpenAI的最新模型。这一创新的AI模型的开发是为了满足对能够在各种任务中理解和生成类似人类文本的AI应用不断增长的需求。今年6月份,被视为OpenAI竞争对手的人工智能初创公司InflectionAI宣布完成13亿美元融资,融资由微软、LinkedIn联合创始人雷德·霍夫曼、微软公司联合创始人比尔·盖茨、谷歌前CEO埃里克·施密特等领头企业领投,英伟达等公司也参投。
Anthropic最新发布的大型语言模型Claude2.1LLM引起了广泛关注,该模型的上下文窗口长度可达200K,是对当前市场主流模型的一次重要突破。这一消息是在OpenAI推出128K上下文窗口的GPT-4之后发布的,导致超过100个企业OpenAI用户周末纷纷向Anthropic寻求支持,以解决对LLM提供商的过度依赖问题。Anthropic的Claude2.1LLM的推出标志着语言模型领域的不断创新和竞争的升级,为用户提供了更丰富�
大模型浪潮正在重构千行百业。可以预见的是,随着技术的不断进步以及应用场景的不断扩展,基于大模型的AI应用将会不断涌现,并成为推动AI产业发展的重要力量。曾在腾讯云CODINGDevOps团队负责产品及运营管理工作,服务超百万开发者用户的平台产品。
【新智元导读】微调LLM需谨慎,用良性数据、微调后角色扮演等都会破坏LLM对齐性能!学习调大了还会继续提高风险!虽说预训练语言模型可以在零样本设置下,对新任务实现非常好的泛化性能,但在现实应用时,往往还需要针对特定用例对模型进行微调。微调后的模型安全性如何?是否会遗忘之前接受的对齐训练吗?面向用户时是否会输出有害内容?提供LLM服务的厂商也需要考虑到,当给终端用户开放模型微调权限后,安全性是否会下降?最近,普林斯顿大学、IBM、斯坦福等机构通过redteam实验证明,只需要几个恶意样本即可大幅降低预训练模型的安全性,甚至普通用户的微调也会影响模型的安全性。不管真正的原因是什么,研究人员假设,如果能够在未来的对齐工作中巩固那些不太稳健的危害类别,可能能够进一步提高良性微调情况下的整体安全性。
【新智元导读】大模型上下文从此不再受限!港中文贾佳亚团队联手MIT发布了全新超长文本扩展技术LongLoRA,只需2行代码,让LLM看小说,读论文,轻松拿捏。中途迷失、模型偷懒、上下文越长大模型越笨……体验过LLM的人,多少都会对文本输入长度带来的限制有所感触:实际上,这些都是典型的大语言模型对话缺陷。相距不过短短两个月,不得不说,这研究速度和能力跟LongLoRA一样惊人。
大语言模型黑盒,居然被CMU等机构的学者打破了?他们发现,LLM内部有可解释的表征,如果撒谎能被测谎仪检测出来!最近,来自CAIS、CMU、斯坦福、康奈尔、马里兰、宾大等机构的学者又有了令人震惊的发现——大语言模型,并不仅仅是黑匣子,或者难以理解的庞大矩阵。在它们内部,具有可解释的内部表征。CMU等机构研究者的探索也告诉我们,人类对于AI系统的理解和控制会越
exllamav2是一个用于在现代消费级GPU上本地运行大型语言模型的快速推理库。它能够利用最新的GPU技术,在不牺牲太多质量的情况下,以非常快的速度对巨大的神经网络进行推理。随着它的不断发展和优化,相信它一定会让LLM的应用变得更加普及。
来自普林斯顿、UIUC等机构的华人团队提出一个用于加速大型语言模型推理速度的简单框架Medusa,并于9月12日开源发布。测试结果显示,Medusa可以将LLM的生成效率提高约2倍。研究人员称正在积极扩展Medusa的应用场景,集成到更多的推理框架中,以获得更高的性能提升。
日本的人工智能初创公司ELYZA宣布发布了一款基于Meta的「Llama2」的日本语言模型,该模型被命名为「ELYZA-japanese-Llama-2-7b」,拥有70亿参数。此举使得该模型能够与开放AI领域的巨头GPT3.5相媲美。虽然目前在参数数量上仍不及一些国际级模型,但这一进展为日本语自然语言处理和生成领域带来了更多可能性,未来可望进一步提高日本语LLM的性能。
【新智元导读】参数高效的微调方法SUR-adapter,可以增强text-to-image扩散模型理解关键词的能力。扩散模型已经成为了主流的文本到图像生成模型,可以基于文本提示的引导,生成高质量且内容丰富的图像。HCP实验室简介中山大学人机物智能融合实验室由林倞教授于2010年创办,近年来在多模态内容理解、因果及认知推理、具身智能等方面取得丰富学术成果,数次获得国内外科技�
为了挑战OpenAI的GPT-3.5和GPT-4等闭源模型的主导地位,一系列开源模型力量正在崛起,包括LLaMa、Falcon等。MetaAI发布了LLaMa-2模型,被誉为开源领域最强的大模型,很多研究者也在此基础上搭建自己的模型。如需全面了解这些限制,请参阅论文中的限制部分。
StabilityAI与CarperAI发布了两个新的大型语言模型,名为FreeWilly。其中一个模型基于Meta的Llamav2,通过优化性能展示了开源开发的速度。这些模型可免费用于研究目的,并且FreeWilly2被认为是在基准测试中具有最佳平均结果的开源模型。
【新智元导读】打「排位赛」的大模型们背后秘密武器曝光!UC伯克利重磅开源神级LLM推理系统——vLLM,利用PagedAttention,比HuggingFace/Transformers快24倍,GPU数量减半。过去2个月,来自UC伯克利的研究人员给大语言模型们安排了一个擂台——ChatbotArena。团队的大部分成员同时也是LMSYS成员。
GPT-4再度进化!加上一个简单方法,就能让GPT-4这类大语言模型学会自我反思,性能直接提升30%。大语言模型回答出错,经常是二话不说,直接先道歉,然后emmmmmm,继续乱猜。结果也显易见,用了Reflexion,GPT-4的编程能力直接提升了21%。
文章标题:用GkrellM监测Linux网络服务器。Linux是中国站长站的一个技术频道。包含桌面应用,Linux系统管理,内核研究,嵌入式系统和开源等一些基本分类