11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
微软和苏黎世联邦理工学院的研究人员联合开源了SliceGPT,该技术可以极限压缩大模型的权重矩阵,将模型体量压缩25%左右,同时保持性能不变。实验数据显示,在保持零样本任务性能的情况下,SliceGPT成功应用于多个大型模型,如LLAMA-270B、OPT66B和Phi-2。这一技术的推出,有望为广大开发者和企业提供更加便捷、高效的大模型应用解决方案。
SliceGPT是微软开发的一种新型的大语言模型压缩方法。通过SLICEGPT,可以在保持99%,99%,和90%零样本任务性能的同时,将LLAMA2-70B、OPT66B和Phi-2模型分别去除高达25%的模型参数。这种方法的核心优势在于,它允许模型在去除一定比例的参数后,仍然能够保持接近原始模型的性能,适用于资源受限的设备上部署大型模型,比如普通的个人电脑或者移动设备。