在刚刚结束的国际机器学习大会（ICML）上，快手与上海交通大学携手推出了一款令人瞩目的多模态生成理解模型 ——Orthus。这款模型以其自回归 Transformer 架构为基础，能够在图文之间自如转换，展现出前所未有的生成能力，目前已正式开源。
Orthus 的最大亮点在于其卓越的计算效率与强大的学习能力。研究表明，在仅需极少计算资源的情况下，Orthus 在多个图像理解指标上超越了现有的混合理解生成模型，如 Chameleon 和 Show-o。在文生图生成的 GenEval 指标上，Orthus 更是表现出色，超越了专为此设计的扩散模型 SDXL。
该模型不仅能处理文本和图像之间的交互关系，还在图像编辑和网页生成等应用中展现出巨大潜力。Orthus 的架构设计非常巧妙，采用了自回归 Transformer 作为主干网络，配备了特定模态的生成头，分别用于生成文本和图像。这种设计有效解耦了图像细节的建模和文本特征的表达，使得 Orthus 能够专注于建模文本和图像之间的复杂关系。
具体来说，Orthus 由多个核心组件构成，包括文本分词器、视觉自编码器以及两个特定模态的嵌入模块。它将文本和图像特征融合到一个统一的表示空间中，让主干网络在处理模态间的依赖关系时更加高效。模型在推理阶段会根据特定的标记，自回归地生成下一个文本 token 或图像特征，展现了极强的灵活性。
通过这些创新设计，Orthus 不仅避免了端到端扩散建模与自回归机制之间的分歧，还减少了图像离散化带来的信息损失。这一模型可以被视为何恺明在图像生成领域的 MAR 工作向多模态领域的成功拓展。
快手与上海交通大学的这一合作，无疑为多模态生成模型的发展带来了新的可能性，值得业界和学界的关注与期待。