【新智元导读】现在,34B Code Llama模型已经能够在M2Ultra上的Mac运行了,而且推理速度超过每秒20个token,背后杀器竟是「投机采样」。开源社区的一位开发者Georgi Gerganov发现,自己可以在M2Ultra上运行全F16精度的34B Code Llama模型,而且推理速度超过了20token/s。毕竟,M2U
......
本文由站长之家合作伙伴自媒体作者“新智元公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。
(举报)