11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
MosaicML发布了名为MPT-7B-8K的7B参数开源语言模型,支持8K的上下文长度。与以前的模型相比,MPT-7B-8KLLM在摘要和回答任务方面展现出卓越的能力。Mosaic声称,MPT-7B-8k模型表现出与当前其他具有8k上下文长度的开源模型相当或更好的性能,该公司的上下文学习评估工具证实了这一点。
Databricks同意以约13亿美元的估值收购生成式人工智能初创公司MosaicML,此举旨在满足企业构建类似ChatGPT的工具的快速增长需求。总部位于旧金山的数据存储和管理初创公司Databricks表示,此次交易将其支持人工智能的数据管理技术与MosaicML的语言模型平台相结合,使企业能够利用专有数据自行构建低成本的语言模型。大型语言模型正在变得精细,用于非常特定的应用,他说,「�
MosaicML+的+MPT-7B+是一个具有近70亿个参数的大型语言模型,该团队在自己的近万亿个标记的数据集上对其进行了训练。MosaicML+遵循+Meta+的LLaMA模型的训练方案。但即使有65,000个token,也可以阅读整部小说并写一篇结语。
虽然Meta的LLaMA已经成为开源AI重要力量,但由于其只可用于研究用途申请麻烦被业界诟病。MosaicML和Together推出可商用开源大模型,性能不输LLaMA。也将有助于加强人工智能技术的透明度和可解释性,避免人工智能技术被滥用。