11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。
北京时间2月6日,昆仑万维正式发布新版MoE大语言模型「天工2.0」与新版「天工AI智能助手」APP,这是国内首个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用。用户即日起可在各手机应用市场下载「天工AI智能助手」APP,体验昆仑万维「天工2.0」MoE大模型的卓越性能。昆仑万维始终秉承着“实现通用人工智能,让每个人更好地塑造和表达自我”的公司使命,不断降低大模型技术在各行各业的应用和学习门槛,携手探索未知世界、共创科技未来。
昆仑万维发布了新版MoE大语言模型「天工2.0」和新版「天工AI智能助手」APP。这是国内首个搭载MoE架构并免费向C端用户开放的大语言模型应用。昆仑万维是国内模型技术和工程能力最强、布局最全面的人工智能大模型企业之一。
“取消今晚所有计划!”,许多AI开发者决定不睡了。只因首个开源MoE大模型刚刚由MistralAI发布。最新的梗图:磁力链接就是新的arXiv。
元象发布了XVERSE-MoE-A4.2B大模型,采用混合专家模型架构,激活参数为4.2B,效果媲美13B模型。该模型全开源,免费商用,可用于海量中小企业、研究者和开发者,推动低成本部署。在商业应用上,元象大模型已与多个腾讯产品进行深度合作,为文化、娱乐、旅游、金融领域提供创新用户体验。
在人工智能领域,一场由APUS与新旦智能联手掀起的开源革命正在上演。4月2日,APUS与战略合作伙伴新旦智能联合训练、研发的千亿MoE架构大模型,在GitHub上正式开源。面对人工智能产业的发展与挑战,APUS将通过持续的技术研发与社区共建,积极探索解决方案,不断提升开源大模型的稳定性和泛化能力,确保其在各类复杂应用场景中始终保持领先优势,进一步赋能千行万业。
据昆仑万维官微发文,天工大模型3.0将于4月17日正式发布,并同步开源4000亿参数MoE超级模型。这一模型采用了4千亿级参数MoE混合专家模型,是全球模型参数最大、性能最强的MoE模型之一。天工大模型3.0的发布和开源,无疑将推动人工智能领域的技术进步和应用创新,为产业界和学术界带来全新的机遇和挑战。
2023年4月17日,昆仑万维发布自研双千亿级大语言模型「天工1.0」正式奠定了国产大模型崛起之路。「天工3.0」也是全球首个多模态“超级模型”,其集成了AI搜索、AI写作、AI长文本阅读、AI对话、AI语音合成、AI图片生成、AI漫画创作、AI图片识别、AI音乐生成、AI代码写作、AI表格生成等多项能力,是大模型时代的“超级应用”。“超级模型”的概念诞生于“超级应用”。
在即将到来的2024年4月17日,也就是「天工」大模型一周年之际,昆仑万维宣布「天工3.0」正式开启公测!这一版本采用了4千亿级参数的MoE混合专家模型,并将选择开源,是全球模型参数最大、性能最强的MoE模型之一。「天工3.0」相较于上一代的「天工2.0」MoE大模型,在模型语义理解、逻辑推理、通用性、泛化性、不确定性知识、学习能力等方面都有惊人的性能提升。用户可以在4月17日下载新版的“天工AI助手”App,来体验超级模型的震撼AI功能。
苹果显然已经加大了对生成式人工智能的重视和投入。此前在2024苹果股东大会上,苹果CEO蒂姆・库克表示,今年将在GenAI领域实现重大进展。更多研究细节,可参考原论文。
MistralAI以87GB种子形式开源了近似于GPT-4的8x7BMoE模型,架构相似但规模更小,引发开发者关注和在线体验。Soul上线自研语言大模型SoulXSoul社交平台推出自研语言大模型SoulX,通过强大的生成和理解能力提升社交关系和内容链路体验,覆盖多种风险类别以确保内容安全。项目地址:https://github.com/Mintplex-Labs/anything-llm高质量3D人体生成新框架HumanGaussian开源HumanGaussian框架通过结构感知�
Moemate是一款应用程序,它可以让大型语言模型“阅读”你电脑屏幕上的内容。Moemate是一款运行在macOS、Windows和Linux设备上的助手,以动漫风格的化身形式呈现,旨在为用户提供并朗读他们所提出的任何问题的最佳答案。Moemate给我们展示了未来的一瞥,尽管还有很多问题,但仍然引人入胜。
【新智元导读】最大开源模型,再次刷爆纪录!Snowflake的Arctic,以128位专家和4800亿参数,成为迄今最大的开源模型。是又大又稀疏,因此计算资源只用了不到Llama38B的一半,就达到了相同的性能指标。他本人的研究兴趣是机器学习与系统的交叉领域。
MiniMax在2024年4月17日推出了abab6.5系列模型,这是一个万亿MoE模型。在MoE还没有成为行业共识的情况下,MiniMax投入了大量精力研究MoE技术,并在今年1月发布了国内首个基于MoE架构的abab6模型。用户可以通过这些产品来体验这些先进的语言模型。
JetMoE-8B是一款采用稀疏激活架构的人工智能模型,其性能卓越且训练成本不到10万美元,令人惊讶的是,它的表现甚至超越了LLaMA2-7B、LLaMA-13B和DeepseekMoE-16B。JetMoE-8B由24个块组成,每个块包含两个MoE层:注意力头混合和MLP专家混合。这不仅证明了其在性能上的优势,也展示了其在成本效益上的显著优势。
【新智元导读】初创团队MistralAI再次放出一条磁力链,281GB文件解禁了最新的8x22BMoE模型。一条磁力链,MistralAI又来闷声不响搞事情。最新的8x22BMoE模型也在抱抱脸平台上上线,社区成员可以基于此构建自己应用。
通义千问团队推出了Qwen系列的首个MoE模型,命名为Qwen1.5-MoE-A2.7B。这个模型只有27亿个激活参数,但性能却与当前最先进的70亿参数模型相媲美。Qwen1.5-MoE模型在性能、效率和推理速度方面取得了显著的优势,是推理训练的最佳实践之一。
SegMoE是一种无需训练就可以混合多个SD模型组成一个新的模型,类似LLM的MoE模型。他们提供了三个已经混合好的模型,分别由2个SDXL、4个SDXL和4个SD1.5模型组成。尽管SegMoE提供了一种新颖的模型混合方法,但仍然需要进一步的改进来提高其性能和效果。
MoE-LLaVA是一种新型稀疏LVLM架构,通过使用路由算法仅激活top-k专家,解决了通常与多模态学习和模型稀疏性相关的性能下降问题。研究者联合提出了一种新颖的LVLM训练策略,名为MoE-Tuning,以解决大型视觉语言模型的扩大参数规模会增加训练和推理成本的问题。MoE-LLaVA能够帮助我们更好地理解稀疏模型在多模态学习上的行为,为未来研究和开发提供了有价值的见解。
MiniMax在2024年1月16日全量发布了大语言模型abab6,这是国内首个采用MoE架构的大语言模型。MoE架构使得abab6具备处理复杂任务的能力,并且在单位时间内能够训练更多的数据,提高计算效率。用户可以访问MiniMax开放平台官网来申请试用abab6大模型。
MistralAI近日发布了首个开源MoE模型Mixtral8x7B,并宣布在魔搭社区上线。Mixtral8x7B是一个混合专家模型,由8个拥有70亿参数的专家网络组成,能够处理32ktoken上下文长度,支持多种语言,具有优秀的代码生成能力。该模型在MT-Bench评测上达到了8.3分,与GPT3.5相当。
「高端」的开源,往往采用最朴素的发布方式。MistralAI在X平台甩出一条磁力链接,宣布了新的开源动作。这篇报道还提到,ArthurMensch表示「虽然公司尚未赚到任何钱,但预计这种情况将在年底前发生改变,因为该公司准备了一个新平台,供客户访问其人工智能模型。
清华大学计算机系PACMAN实验室发布了一种稀疏大模型训练系统SmartMoE,该系统支持用户一键实现Mixture-of-Experts模型的分布式训练,并通过自动搜索并行策略来提高训练性能。论文地址:https://www.usenix.org/system/files/atc23-zhai.pdf项目地址:https://github.com/zms1999/SmartMoEMoE是一种模型稀疏化技术,通过将小模型转化为多个稀疏激活的小模型来扩展模型参数量。通过这些特点,SmartMoE系统能够提高MoE模型的易用性和训练性能,助力MoE大模型的发展。
今天SemiAnalysis的DylanPatel和GeraldWong发表了一篇题为《GPT-4Architecture,Infrastructure,TrainingDataset,Costs,Vision,MoE》的文章,揭示GPT-4的所有细节。文章中详细介绍了GPT-4的架构、训练和推理的基础设施、参数量、训练数据集、token数、成本、混合专家模型等非常具体的参数和信息。架构肯定会发展到超越当前简化的基于文本的密集和/或MoE模型的阶段。
腾讯问卷宣布推出全流程AI解决方案,基于腾讯混元大模型,帮助企业提升调研的质量与效率。腾讯问卷是腾讯旗下在线问卷调查平台,服务覆盖问卷调查、信息上报、在线测评等工作场景,帮助用户回收34亿份问卷。腾讯混元大模型也已被腾讯旗下协作SaaS产品全面接入,实现智能化升级。
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/1、阿里云宣布GPT-4级主力模型Qwen-LongAPI输入费用暴跌97%阿里云宣布将其GPT-4级主力模型Qwen-Long的API输入价格大幅降低,为用户带来极大的优惠和竞争力,使得购买文本处理能力变得�
今日,百度智能云宣布文心大模型的两款主力模型ENIRESpeed、ENIRELite全面免费,即刻生效。这两款大模型今年3月发布,均支持8K和128k上下文长度。百度则更进一步,直接宣布两款主力模型免费,从天价”到骨折价”再到免费,大模型进入免费时代已然到来。
百度智能云宣布,文心大模型两大主力模型ERNIESpeed、ERNIELite全面免费,立即生效。ERNlESpeed是百度2024年最新发布的自研高性能大语言模型,通用能力优异,适合作为基座模型进行精调,更好地处理特定场景问题。ERNIELite是百度自研的轻量级大语言模型,兼顾优异的模型效果与推理性能,适合低算力AI加速卡推理使用。
通义千问GPT-4级大模型,直接击穿全网底价!就在刚刚,阿里突然放出大招,官宣9款通义大模型降价。性能对标GPT-4的主力模型Qwen-Long,API输入价格从0.02元/千tokens降至0.0005元/千tokens,也就是1块钱能买200万tokens,相当于5本《新华字典》的文字量,堪称全球大模型的性价比之王。近来卷起的降价趋势,对于开发者和期待更多大模型应用的胖友们言,不可谓不是利好消息。
国内云服务厂商之间掀起了一场大模型降价潮,这场价格战的目的是为了快速抢占市场,实现商业化的快速落地。包括火山引擎、阿里云、智谱AI、面壁智能等在内的厂商和创业团队都参与其中。各大模型厂商都在探索如何加快大模型落地,未来一段时间内,竞争将更加激烈,同时也将推动大模型技术进入新的发展阶段。