在近日举行的 AICon 大会上，蚂蚁集团副总裁周俊发表了一场引人注目的演讲，聚焦于如何提升万亿参数模型的效率。周俊提到，现代 AI 模型的算力消耗惊人，尤其是万亿参数模型，每运行15分钟的算力成本竟然相当于一辆特斯拉的费用。这无疑是在警示大家，提升效率已经成为智能体时代亟需解决的核心问题。
为了应对这一挑战，周俊和团队提出了一项颠覆性的策略:从 “更多 Token” 转向 “更高 Token 密度”。他们采用了一种名为 “7份 Lightning Attention 加1份 MLA” 的混合线性注意力架构，这一创新的设计使得处理256K 长度的上下文成本，从原来的指数级别下降到了线性级别，从而让算力可以更有效地用于思考。
除此之外，团队还引入了 Kpop 算法，以更好地区分工具调用与自然语言 Token，同时结合思维链剪枝和自蒸馏等技术手段，这些创新使得 Token 输出减少了约4倍，但模型的能力并没有因此下降。周俊指出，在 LongBench 和 BFCL 等多个基准测试中，他们的千亿参数模型已经在 Agent 任务上超过了一些更大规模的模型。令人振奋的是，小型模型的 flash 吞吐率也达到了2.4倍，五轮对话的算力成本降低了超过10倍。
可以说，周俊的演讲不仅为业界带来了新的思路，也为未来的智能体设计提供了可行的参考。面对日益增长的算力需求，提升大模型的效率显得尤为重要，而蚂蚁集团所提出的这一系列创新，无疑为行业带来了新的曙光。
划重点:
🌟 周俊强调万亿参数模型的算力成本与特斯拉相当，提升效率刻不容缓。
🔑 团队提出从 “更多 Token” 转向 “更高 Token 密度”，创新架构大幅降低上下文处理成本。
🚀 采用 Kpop 算法与其他技术，使得 Token 输出减少但能力不降，千亿参数模型在多个基准测试中表现出色。