站长之家（ChinaZ.com）4月15日 消息:北大与字节跳动AI Lab联合提出了一种图像生成新范式——VAR（Visual Autoregressive Modeling），这一新方法的核心在于预测下一级分辨率，而非传统的预测下一个token。VAR的提出不仅在图像生成质量上超越了Sora的核心组件Diffusion Transformer(DiT)，而且在推理速度上也实现了20倍以上的提升。这一成果已经在GitHub上开源，迅速获得了1.3k的标星，并登上了GitHub趋势榜。
项目地址:https://github.com/FoundationVision/VAR
论文:https://arxiv.org/abs/2404.02905
VAR的工作流程分为两个阶段。在第一阶段，VAR引入了多尺度离散表示，通过VQ-VAE将连续图像编码为不同分辨率的离散token map。
在第二阶段，VAR Transformer通过预测更高分辨率的图像来进一步优化模型。具体来说，模型从最低分辨率的token map开始，逐步预测到更高分辨率的完整token map，直至生成最高分辨率的图像。
在这一过程中，模型会综合考虑之前所有步骤生成的映射信息，从而提高预测的准确性。与传统自回归模型不同，VAR在每个尺度内并行预测所有位置的token，这一特点显著提高了生成效率。
VAR的提出，不仅在图像生成领域首次击败了DiT，而且在实验中显示出了大语言模型类似的Scaling Laws和零样本任务泛化能力。在ImageNet256×256的数据集上，VAR将FID（Fréchet Inception Distance，一种衡量生成图像质量的指标）从18.65降到了1.8，IS(Inception Score，衡量生成图像多样性的指标)从80.4提高到了356.4，这些结果表明VAR在图像生成质量和多样性上都有显著提升。此外，VAR只需要350个训练周期，远少于DiT-XL/2所需的1400个周期，显示出更高的数据效率。
VAR的研究成果已经在GitHub上公开，包括推理示例、demo、模型权重和训练代码，供研究者和开发者使用和参考。VAR的提出，不仅为图像生成领域带来了新的研究方向和技术突破，也可能为未来的AI应用开辟新的可能性。同时，VAR的开源也体现了学术界与工业界合作的积极成果，有助于推动整个AI领域的发展和创新。
（举报）
