11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
【新智元导读】Llama3的开源,或将催生数十亿美元新产业。发布不到一周的时间,全网各种测试微调都开启了。但在还没有发布GPT-5之前,初创公司需要有危机感了。
自ChatGPT问世以来,OpenAI一直被认为是全球生成式大模型的领导者。2023年3月,OpenAI官方宣布,开发者可以通过API将ChatGPT和Whisper模型集成到他们的应用程序和产品中。如果用例完全、详细,那么GPT实际上非常可靠。
北大和字节联手搞了个大的:提出图像生成新范式,从预测下一个token变成预测下一级分辨率,效果超越Sora核心组件DiffusionTransformer。并且代码开源,短短几天已经揽下1.3k标星,登上GitHub趋势榜。他硕士毕业于浙江大学,目前的研究重点是视觉基础模型、深度生成模型和大语言模型。
微软研究人员挑战了语言模型预训练的传统方法,该方法在训练语料库中的所有token上均匀应用下一个token预测损失。他们提出了一种新的语言模型称为RHO-1,该模型利用选择性语言建模。SLM可以扩展到监督微调,以解决数据集中的噪声和分布不匹配,并通过训练一个强调帮助性、真实性和无害性的参考模型来获得在预训练期间获得本地对齐的基本模型。
全网高质量数据集告急!据报道,AI公司如OpenAI、Anthropic等正在努力寻找足够的信息来训练下一代人工智能模型。数据短缺问题日益突出,对训练下一代强大模型至关重要。从合成数据到建立数据市场,AI领域正在不断寻求突破,以确保训练下一代强大人工智能模型所需的数据资源。
百亿token补贴,4月起免费!这次的羊毛来自清华系AI公司无问芯穹,企业与个人皆可薅~这家公司成立于2023年5月,目标是打造大模型软硬件一体化最佳算力解决方案。它发布了基于多芯片算力底座的无穹Infini-AI大模型开发与服务平台,供开发者体验、对比各种模型和芯片效果。”戴国浩宣布,无穹LPU将于2025年面世。
“Claude3、Gemini1.5,是要把RAG给搞死了吗?”随着新晋大语言模型们的上下文窗口变得越发得长,业界人士针对“RAG终将消亡”观点的讨论也是愈演愈烈。之所以如此,是因为它们二者都是为了解决大模型的幻觉问题,可以说是属于两种不同顶尖技术流派之间的对峙。更多CPU支持向量数据库的解决方案内容,请点击“阅读原文”获取。
TRON宣布与加密数据分析平台TokenTerminal达成合作,引发全球知名媒体高度关注。美联社、Benzinga及Cointelegraph等国际主流媒体及加密行业媒体均对此进行了报道,报道称,此次TokenTerminal的数据分析工具套件整合网络数据,将为投资者和分析人员访问和使用TRON数据带来全新选择。该套件是首个基于基本面的加密资产篮子,覆盖多种代币,并根据各代币的表现决定其投资权重。
相信你或多或少对GPT有一定的了解,但我赌你没听说过bGPT。bGPT的意思是byteGPT,即字节GPT。bGPT为这条道路开了个好头。
大模型的纯文本方向,已经卷到头了?刚刚,OpenAI最大的竞争对手Anthropic发布了新一代AI大模型系列——Claude3。该系列包含三个模型,按能力由弱到强排列分别是Claude3Haiku、Claude3Sonnet和Claude3Opus。随着新系列模型的进一步优化和应用,我们或许将看到更加多元化的大模型生态。
近Anthropic刚刚发布了震撼消息:全新Claude3家族登场!最强版本Claude3Opus在推理、数学、编码、多语言理解和视觉等领域已经超越了包括GPT-4在内的所有大模型,展现出接近人类理解能力。前往AIbase官网,开始您的智能匹配之旅。
ChatGPT意外发生失控事件,用户纷纷报告收到混乱令人震惊的回复,引起Reddit、HN等社交平台上广泛的讨论。OpenAI迅速做出回应,确认问题源于「token预测」,并表示已成功修复。尽管OpenAI已迅速做出修复,但事件也提醒我们在推进人工智能技术的同时,需要更加关注模型的稳定性和潜在风险。
HuggingFace推出了Cosmopediav0.1,这是最大的开放合成数据集,由Mixtral7b生成,包含超过3000万个样本,总共约250亿个标记tokens。数据集旨在通过映射来自网页数据集如RefinedWeb和RedPajama的信息来汇编全球知识,包括教科书、博客文章、故事和WikiHow文章等各种内容类型。其目标是通过量身定制提示风格和受众,最大程度地提高多样性,从显著减少重复内容。
这两天国内外人工智能圈子都在热议Groq:这个硅谷公司的产品基于自研芯片可以做到在大模型推理时每秒处理将近500个token。500个token什么概念,大概就是一句话的响应时间只需要不到2秒,如此这般的文字生成速度,甚至比翻译软件还快。虽然有不少那样的公司在当时沸沸扬扬,然才过了几年的工夫,你又能回想起几个这样的公司呢?希望这一次Groq的惊艳也不是一时的。
一家名为Groq的初创公司推出了一款大模型推理芯片,其推理速度达到了每秒500tokens的惊人水平,轻松颠覆了传统GPU的性能。Groq的团队由谷歌TPU原班人马组成,他们自主研发的芯片不仅速度快成本低廉,性价比高,成为了大模型推理加速的新宠。在技术不断创新和竞争日益激烈的背景下,Groq将继续致力于推动大模型硬件领域的发展,为人工智能技术的进步做出更大的贡献。
【新智元导读】卷疯了!世界最快的大模型Groq一夜之间爆火,能够每秒输出近500个token。如此神速的响应,背后全凭自研的LPU。去年11月,当马斯克的同名AI模型Grok开始受到关注时,Groq的开发团队发表了一篇博客,幽默地请马斯克另选一个名字:不过,马斯克并未对两个模型名称的相似之处作出回应。
【新智元导读】Gemini1.5的真实水平到底怎么样,从谷歌那里获得试用资格的大佬们,给大家进行了一波极限测试。让我们看看谷歌最新推出的大模型到底有多强的实力。在这个测试中,Gemini1.5Pro在较短的文本长度上的性能超过了GPT-4-Turbo,并且在整个100万token的范围内保持了相对稳定的表现与之对比鲜明的是,GPT-4Turbo的性能则飞速下降,且无法处理超过128,000token的文本,表现惨烈。
Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轰动,超越了传统GPU和谷歌TPU。该芯片由初创公司Groq研发,其团队成员来自谷歌TPU,包括创始人兼CEOJonathanRoss,曾设计实现第一代TPU芯片的核心元件。Groq产品以其出色的推理性能、对多种开源LLM模型的支持以及具有竞争力的价格政策等特色,成为一个引人注目的选择。
智谱AI推出个性化GLM智能体创作者激励计划,以强化人工智能生态。随着新一代基座大模型GLM-4的发布,智谱AI于1月16日宣布其个性化智能体定制能力正式上线。智谱AI也期待与更多开发者合作,共同探索智能体的商业化可能性,推动人工智能技术的广泛应用和普及。
一个体量仅为2B的大模型,能有什么用?答案可能超出你的想象。因为若是用四个字来概括,那就是“多、快、好、省”:多:它是业界第一个在端侧部署多模态的大模型。用李大海的话来说:嗯,五道口,不愧是“宇宙中心”。
【新智元导读】2B性能小钢炮来了!刚刚,面壁智能重磅开源了旗舰级端侧多模态模型MiniCPM,2B就能赶超Mistral-7B能越级比肩Llama2-13B。成本更是低到炸裂,170万tokens成本仅为1元!最强旗舰端侧模型,重磅诞生!就在刚刚,坐落在「宇宙中心」的面壁智能,重磅发布2B旗舰端侧大模型MiniCPM,并全面开源。在这个App上,不光有李白杜甫、清华北大的CP,或许,你还可以找到平行宇宙的ta。
【新智元导读】和女朋友的一次吵架,让这位开发者做出了一个24小时内用户达60万的AI应用,直接引爆了00后和10后聚集的QQ群!10亿token一天就烧完,也是难倒了开发者……24小时,70万用户,10亿tokens,一个叫「哄哄模拟器」的AI应用,昨天忽然爆火全网!这个游戏里,你需要想方设法哄好自己的虚拟女友/男友,以获得ta的原谅。怎么在限定次数内让对方原谅你?这可太考验情商了�
【新智元导读】和女朋友的一次吵架,让这位开发者做出了一个24小时内用户达60万的AI应用,直接引爆了00后和10后聚集的QQ群!10亿token一天就烧完,也是难倒了开发者……24小时,70万用户,10亿tokens,一个叫「哄哄模拟器」的AI应用,昨天忽然爆火全网!这个游戏里,你需要想方设法哄好自己的虚拟女友/男友,以获得ta的原谅。怎么在限定次数内让对方原谅你?这可太考验情商了�
【新智元导读】就在昨天,百川智能正式发布Baichuan2-Turbo系列API,192K的超长上下文窗口搜索增强知识库,解决了困扰行业已久的大模型商用落地难问题。大模型之战的战场格局,现在基本已经划定。通过「大模型搜索」的完整技术栈,百川智能把大模型时代的内存、硬盘与网络结合做到了极致,充分发挥了成本、性能与效率的优势,为企业应用大模型提供了完整的技术解决方案。
前OpenAI首席科学家IlyaSutskever成为Nature评选的「2023年10大科学人物」,他强调只要能够极好地预测下一个token,就能帮助人类达到人工通用智能。Ilya认为大型语言模型,如ChatGPT,本质上是预测下一个字符的工具,具备超越人类智慧的综合能力。他强调了大型语言模型的潜力,并指出了人工智能对人类文明的深远影响。
家人们谁懂,连大模型都学会看好莱坞大片了,播放过亿的GTA6预告片大模型还看得津津有味,实在太卷了!让LLM卷出新境界的办法简单到只有2token——将每一帧编码成2个词即可搞定。如果对描述指令有疑惑的,Demo也给出了一些示例,感兴趣的小伙伴们不妨来pick一下这个电影搭子。
小羊驼团队的新研究火了。他们开发了一种新的解码算法,可以让模型预测100个token数的速度提高1.5-2.3倍,进加速LLM推理。其中有两位华人:傅奕超以及张昊,后者博士毕业于CMU,硕士毕业于上交大,现在是加州大学圣地亚哥分校助理教授。
在OpenAI陷入存在危机之际,Anthropic宣布了其聊天机器人Claude2.1的最新升级,为用户带来了更强大的功能。Claude2.1的token处理能力翻倍,达到20万个,相当于可以解析500页的文本材料,是GPT-4最高版32,000-token上限的两倍。OpenAI正处于存在危机中Anthropic的这次升级显示了其在不同方面对聊天机器人技术的进步,为用户提供了更多实用的功能和更高的性能。
TogetherAI最近发布了RedPajamav2,这是一个庞大的在线数据集,包含了30万亿token,成为目前公开可用的最大数据集之一,专门用于学习型机器学习系统的培训。对于像Llama、Mistral、Falcon、MPT和RedPajama等最先进的开放式LLM,高质量的数据至关重要,但由于HTML到纯文本的转换引发的异常、通常质量较低的数据来源以及网络内容传播中固有的偏见,这些数据未经精细处理,不适合直接用于LLM的培训。这一工作将为LLM领域的研究和应用提供更多的有力数据支持。
复旦大学和上海人工智能实验室的研究团队在一项新研究中,揭示了一项引人注目的发现:他们能够通过微调一个关键的RoPE位置编码中的超参数,显著扩展大型模型的上下文长度,从1.6万tokens延长至100万tokens,同时提升外推能力。这个超参数被称为旋转角底数,在RoPE位置编码中起着关键作用。这一规律的发现将有望进一步改善大型模型在自然语言处理等领域的性能,并提供更多应用潜力。