快科技6月9日消息，小米近日正式推出Xiaomi MiMo-V2.5-Pro-UltraSpeed模式。
据介绍，这是全球首个在通用GPU上实现每秒处理超过1000个token的万亿参数模型，刷新了旗舰级模型的最快推理速度记录。
今天，小米技术官方公众号发文详细解读了“1000 tokens/s”的含义及其实际速度表现。
小米解释称，token（词元）是大模型中的基本计量单位，类似于买菜时使用的“斤”或“两”。
1000 tokens/s即每秒生成1000个token，简称1000 TPS，代表模型每秒可处理1000个词元。
如果将大模型的推理过程比作“打字”，那么TPS就相当于“打字速度”，数值越高，生成内容越快。
粗略换算，1个token大约相当于1到2个汉字，或0.75个英文单词。
这意味着，1000 tokens/s约等于每秒生成750个英文单词，或上千个汉字。
作为对比，普通大模型的输出速度通常在50到130 TPS之间，接近人类朗读的节奏；国内领先大模型的输出速度约为400 TPS，相当于快速播报的语速。
而小米此次上线的UltraSpeed模式，输出速度达到1000 TPS，约为人眼阅读速度的200倍，基本可实现“一眨眼生成一整页A4纸内容”的效果。
那么，小米是如何实现这一速度的呢？
据了解，小米采用了FP4量化技术，仅对精度需求较低的MoE专家模块进行压缩，其余部分保持原有精度。同时，通过量化感知训练，在压缩过程中同步进行补偿，从而大幅降低模型体积，并尽可能保持性能不受影响。
此外，小米还引入了DFlash投机解码技术。该技术让小模型一次性并行“抢答”一整块token，再由大模型进行无损验证。如果猜对则直接采纳，猜错则退回重算，最终输出结果与原模型完全一致。但验证方式从“逐字确认”变为“整块确认”，从而显著提升效率。
TileRT推理系统也在其中发挥了关键作用。通过常驻内核和异构流水线，该系统能够尽可能消除微秒级运行中计算步骤之间的启动、等待、数据搬运等空隙，在不改变计算结果的前提下，充分挖掘硬件的运行潜力。
（举报）