11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
MetaLlama3是Meta公司最新推出的一款开源大型语言模型。它在多项行业基准测试中表现出色,性能卓越,可支持广泛的使用场景,包括改善推理能力等新功能。要了解更多信息,请访问MetaLlama3官方网站。
芬兰赫尔辛基的人工智能初创公司SiloAI本周发布了Poro,这是一个旨在提升欧洲语言多语言人工智能能力的新开源大型语言模型。Poro是计划中的首个开源模型,旨在最终涵盖欧盟所有24种官方语言。尽管仍处于早期阶段,但Poro在将语言人工智能从专有领域引入开源方面代表着一个重要的里程碑。
初创公司Gradient已经成功融资1000万美元,用于扩大其云平台的采用,该平台允许开发人员托管定制版本的开源语言模型。这项投资由WingVC领投,MangoCapital、TokyoBlack、TheNewNormalFund、SecureOctane和GlobalFoundersCapital也参与了这一轮融资。为了支持其客户基础的持续增长,该公司将利用新关闭的种子轮融资扩大其云平台计划在年底前雇佣8名新员工。
一篇介绍开源人工智能模型FinGPT的论文引起了广泛关注。该模型是专门为金融领域开发的,旨在为金融研究和开发提供易于使用的工具,包括自动化数据管理和类似机器人顾问和算法交易等应用的潜力。RLHF技术支持:FinGPT采用强化学习从人类反馈中学习个性化偏好,为用户提供个性化的投资建议和智能投资工具。
本文概要:1.StabilityAI发布了开源语言模型StableCode,用于代码生成,支持多种编程语言。2.StableCode有4K和16K版本,16K版本的大上下文窗口对新手程序员特别有用。随着StabilityAI不断推出更多的语言模型,编程将变得更加普及化,有望出现更多的1b级编码员。
开源语言模型如雨后春笋般的冒出,其中有部分号称性能比Meta、谷歌等大科技公司开发的产品更优秀。最近,一款名为FalconLM开源语言模型就号称提供了比Meta的LLaMA更好的性能,也可以用于商业。据说该数据集已准备好进行多模式扩展,因为示例已经包含图像的链接和替代文本。
开源语言模型的进步是无可争议的。但它们真的能与来自OpenAI、谷歌和其他公司的训练有素的语言模型竞争吗?诸如之前所报道的,使用AlpacaFormula训练的开源语言模型几乎不需要怎么训练以及很低的成本就能达到了类似于ChatGPT的水平。OpenAI研究员约翰舒尔曼最近也批评使用ChatGPT数据微调开源基础语言模型,称如果微调数据集包含原始模型中不存在的知识,它们可能会产生更多�
AI芯片初创公司Cerebras宣布进军大型语言模型领域,推出了七种新的开源语言模型。称为Cerebras-GPT+的模型系列的大小范围从1.11亿个参数到130亿个参数。Cerebras+设计了新模型以提供更广泛的访问,并表示希望这些模型将“作为有效培训的秘诀,并作为进一步社区研究的参考。
Gemma是Google推出的一系列开源的轻量级语言模型系列。它结合了全面的安全措施,在尺寸上实现了优异的性能,甚至超过了一些较大的开放模型。提供快速入门指南、基准测试、模型获取等,帮助开发者负责任地开发AI应用。
HuggingFace首次发布了其Idefics视觉语言模型,该模型于2023年首次亮相,采用了最初由DeepMind开发的技术。Idefics迎来了升级,新版本Idefics2拥有更小的参数规模、开放许可证以及改进的光学字符识别能力。Idefics2的发布是AI繁荣持续推出的许多多模态模型之一,包括Reka的新Core模型、xAI的Grok-1.5V和Google的Imagen2。
Jamba是一款基于SSM-Transformer混合架构的开放语言模型,提供顶级的质量和性能表现。它融合了Transformer和SSM架构的优势,在推理基准测试中表现出色,同时在长上下文场景下提供3倍的吞吐量提升。作为基础模型,Jamba旨在供开发者微调、训练并构建定制化解决方案。
MobiLlama是一个开源的小型语言模型,专门针对移动设备运行训练的LLM,拥有5亿个参数。该模型的设计旨在满足资源设定计算的需求,同时注重在提高性能的同时降低资源消耗。如果用户需要一个小型语言模型来运行在资源中受在有限的环境中,MobiLlama可能是一个非常有用的选择。
ChatMusician是一个基于开源大语言模型的项目,它通过与文本兼容的音乐符号系统ABC记谱法,使LLaMA2模型能够理解和创作音乐。这意味着模型可以独立地使用纯文本来处理音乐,无需依赖外部的多模态神经网络结构或特殊的词法分析器。其开创性的方法为音乐和语言之间的交叉研究提供了有益的范例,展示了人工智能在创意领域的巨大潜力。
无论是开源的LLaMA2还是闭源的GPT系列模型,功能虽然很强大,但对语言的支持和扩展比较差,例如,二者都是以英语为主的大模型。为了提升大模型语言的多元化,慕尼黑大学、赫尔辛基大学等研究人员联合开源了,目前支持语言最多的大模型之一MaLA-500。相比原始LLaMA2模型,MaLA-500在主题分类等评测任务上的准确率提高了12.16%,这说明MaLA-500的多语言优于,现有的众多开源大语言模型。
OLMo是由AI2研究院发布的开源语言模型和训练框架。该框架提供了完整的训练数据、代码、模型参数以及评估代码等资源,为语言模型技术研究人员提供了全面的支持。通过访问OLMo官网,您将进入一个开放的学术世界,与全球研究人员共同推动语言模型技术的发展。
智谱AI开源了CogAgent,它是一个视觉语言模型,拥有180亿参数规模。该模型在GUI理解和导航方面表现出色,在多个基准测试上取得了SOTA的通用性能。CogAgent还支持OCR相关任务,通过预训练和微调,其能力得到了显著提升。
在众多开源的大型语言模型中,如LLaMA、Falcon和Mistral等,大多数仅公开了特定组件,如最终模型权重或推理脚本。技术文档通常集中在更广泛的设计方面和基本指标上,限制了该领域的进展,因为训练方法的清晰度不足,导致团队不断努力揭示训练过程的众多方面。如果您喜欢他们的工作,不要忘记加入MLSubReddit、Facebook社群、Discord频道和电子邮件通讯,以获取最新的AI研究新闻和有趣的AI项目。
新加坡国立大学NExT研究中心发布了开源多模态大语言模型NExT-GPT,为处理文本、图像、视频和音频等多样化输入提供了强大支持,推动了多媒体人工智能应用的进一步发展。NExT-GPT提供了一个基于聊天的界面,允许用户输入文本、图像、视频或音频文件。该模型在内容生成、多媒体分析以及能够理解并响应用户首选格式的虚拟助手等各个领域都具有潜在的应用前景。
在贝尔格莱德于2023年11月23日举办的数据科学大会上,RealAI宣布成功中标ISCRA项目。RealAI将建设欧洲首个基于LEONARDO超级计算机的人本主义大语言模型。REALAI孵化项目,以革新行业垂直领域的AI,通过在医疗、伦理和能源等领域进行欧盟资助的项目。
DevOps-Model是蚂蚁集团联合北京大学发布的面向中文DevOps领域的大语言模型。该模型通过收集DevOps领域相关的专业数据,并进行语言模型的加训和对齐训练,旨在提供工程师在开发运维生命周期中的效率。蚂蚁集团表示,未来,DevOps-Model仍有很大的提升空间,可以构造更多样的DevOps数据集,扩充模型的词表,打造成工程师最值得信赖的大模型。
10月30日,昆仑万维宣布开源了百亿级大语言模型「天工」Skywork-13B系列,并提供了超大规模的高质量中文数据集。该系列包括两个模型:Skywork-13B-Base和Skywork-13B-Math,它们在多个评测和基准测试中都表现出了同等规模模型的最佳效果。这一开源将为大模型的应用和开源社区发展提供技术支持,并降低大模型商业门槛。
研究人员介绍了LLEMMA,这是一个开源的大型语言模型,专门设计用于解决数学问题。与其他领先的数学语言模型相比,LLEMMA在性能上表现出色,为进一步的研究提供了一个强大的平台。”我们将会看到LLEMMA能够激发出哪些新的研究。
大语言模型在改变人们的生活和职业方面影响越来越大,因为它们实现了编程助手和通用聊天机器人等新应用。这些应用的运行需要大量硬件加速器如GPU,操作成本非常高。更大的模型、更复杂的解码算法和更长的序列会导致更明显的改进。
Anthropic公司最近开源了Persimmon-8B,这是目前参数量少于10亿的完全免许可使用的最强大语言模型。该模型采用Apache许可证发布,代码和权重已在GitHub上开源。这只是一个早期小规模的开源,他们未来还计划开源更多内容。
大语言模型微调中心是一个开源项目,它包含了大规模语言模型微调和部署的代码库以及相关研究成果。该项目由GeorgianPartners旗下的GeorgianIO团队开发,目的是帮助用户轻松地针对具体业务场景对各种LLM进行微调,并根据综合评估结果选择最适合的模型。该项目预计会持续迭代,支持越来越多前沿的LLM,并公开更多评估实验结果,以造福LLM领域的技术发展。
OpenInterpreter是一个开源的项目,可以让语言模型在本地环境中运行代码。它提供了一个类似ChatGPT的自然语言界面,用户可以用它完成很多实用的任务,比如处理文件、控制浏览器、分析数据等等。这是语言模型技术继续向日常生活渗透的一个标志性成果。
随着语言和技术交叉的日益增多,对多功能和强大语言模型的需求也越来越大。传统的大型语言模型在文本理解或编码任务方面表现出色,但很少能够在两者之间达到平衡。有了Lemur,语言模型技术的未来将比以往任何时候都更加光明和多功能。
嘉楠科技发布了参数量为70亿的通用大语言模型Toucan-7B及INT4量化版本Toucan-7B-4bit。Toucan-7B能够实现文案写作、代码解析、信息抽取等多种自然语言处理任务,并在测试中表现优于ChatGLM-6B。Toucan-7B的效果略好于ChatGLM-6B经过4bit量化后的模型与ChatGLM-6B的效果相当。
阿里云旗下魔搭社区宣布开源视觉语言模型Qwen-VL。Qwen-VL以通义千问70亿参数模型Qwen-7B为基座语言模型研发,支持图文输入,具备多模态信息理解能力。该模型的推理速度快,资源消耗相对较低。
美国艾伦人工智能研究所最近发布了一个名为Dolma的开源数据集,其包含了3万亿个token,这些词汇来自包括网络内容、学术出版物、代码和书籍等广泛的来源。Dolma是目前公开可用的同类数据集中最大的一个。它还应该最大限度地减少风险,尤其是那些可能影响个人的风险。