要点:
EAGLE由滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布,将大模型推理效率提升3倍。
EAGLE采用外推大语言模型的第二顶层特征向量的方法,相较于普通自回归解码,其推理速度提升明显,比普通自回归解码快3倍,比Lookahead解码快2倍,比Medusa解码快1.6倍。
EAGLE使用投机采样方法,通过轻量级的自回归头和冻结的分类头相结合,利用大语言模型提取的上下文特征进行外推,从而更高效地生成文本。
站长之家(ChinaZ.com)12月14日 消息:近年来,大语言模型在各领域应用广泛,但其文本生成过程昂贵且缓慢。为解决这一问题,滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布了EAGLE。EAGLE的目标是提升大语言模型的推理速度,同时确保输出文本的分布一致性。通过外推大语言模型的第二顶层特征向量,EAGLE成功实现了大模型推理效率的无损提升,比普通自回归解码快3倍,比Lookahead解码快2倍,比Medusa解码快1.6倍。
代码地址:https://github.com/SafeAILab/EAGLE
为了加速自回归解码,EAGLE采用了投机采样方法,使用一个轻量级的自回归头和冻结的分类头相结合。与传统投机采样方法不同,EAGLE的输入包括了抽样结果的词嵌入,使得输入和输出之间更具一致性。这种创新的方法有效地处理了抽样过程中的随机性,提高了生成文本的准确性。
EAGLE的工作原理基于特征向量的可压缩性,通过训练一个轻量级插件,即自回归头,从原始模型的第二顶层预测下一个特征,然后使用原始LLM的冻结分类头预测下一个词。这种外推特征向量的方法使得EAGLE在生成文本的同时保持了与普通解码一致的分布。
总体而言,EAGLE的发布标志着大语言模型推理效率的重大突破,为大规模文本生成任务提供了更加高效的解决方案,将在各领域推动语言模型的应用和发展。
(举报)