11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
腾讯云
12-20
随着对生成式人工智能技术需求的激增,大型语言模型的训练和容错性要求也在不断增加。为应对这一挑战,密歇根大学的研究人员开发了一款名为Oobleck的开源大型模型训练框架。Oobleck的开发标志着利用固有冗余提高容错性的新里程碑,为大型模型的高效训练和故障恢复提供了一种创新性的解决方案。
北京大学和北京智源人工智能研究院的团队提出了名为LLaMA-Rider的训练框架,旨在让大型语言模型在开放世界中具备自主探索和学习任务的能力。这个框架通过反馈-修改机制来实现主动探索,使模型在环境中接收反馈信息,不断调整决策,从逐渐适应开放环境。这个研究为大型语言模型在开放世界中的自主学习提供了重要思路,具有广阔的应用前景。
9月12日,淘天集团联合爱橙科技正式对外开源大模型训练框架Megatron-LLaMA,以让技术开发者们更方便地提升大语言模型训练性能,降低训练成本。Megatron-LLaMA是一个基于Megatron-LM的分布式深度学习训练框架,专门用于大规模语言模型LLaMA的训练。它降低了训练大模型的门槛,是开源社区一个重要的贡献。
EPL是PAI团队一次面向大规模深度学习分布式自动化训练的探索,EPL希望能够简化深度学习模型从单机训练到分布式开发调试的流程...EPL也支持不同规模的模型,最大完成了 10 万亿规模的M6 模型训练,相比之前发布的大模型GPT-3,M6 实现同等参数规模能耗仅为其1%...阿里云资深技术专家九丰表示,“近些年,随着深度学习的火爆,模型的参数规模飞速增长,同时为训练框架带来更大挑战...
近日,快手和苏黎世理工宣布开源分布式训练框架 Bagua(八卦),相比于 PyTorch、TensorFlow 等现有深度学习开源框架仅针对系统层面进行优化,Bagua突破了这一点,专门针对分布式场景设计了特定的优化算法,实现了算法和系统层面的联合优化,性能较同类提升60%。研发背景随着摩尔定律的失效,单个计算单元的能力已经远远无法满足数据的指数级增长。比如,快手每天上传的新视频超过千万条,即便训练简单的分类模型(比如 ResNet),