Stability AI和Arm联合发布了一款名为"稳定音频开放小型"(Stable Audio Open Small)的紧凑型文本转音频模型,该模型能够在约7秒内生成长达11秒的高质量立体声音频片段,且经过优化可在智能手机等移动设备上运行。
这一突破基于加州大学伯克利分校研究人员开发的"对抗相对对比"(Adversarial Relativistic-Contrastive,ARC)技术。该模型在高端硬件如Nvidia H100GPU上的表现更为惊人,能够在仅75毫秒内完成44kHz立体声音频的生成,实现了近乎实时的音频合成能力。
与去年发布的包含11亿参数的原始Stable Audio Open相比,这一精简版本仅使用3.41亿个参数,大幅减少了计算资源需求,使其能够在消费级硬件上流畅运行。这是Stability AI和Arm于今年3月宣布合作后的首个重要成果。
为实现智能手机端运行,开发团队对模型架构进行了彻底改进,将系统重构为三个核心组件:压缩音频数据的自动编码器,解释文本提示的嵌入模块,生成最终音频的扩散模型。
Stability AI表示,该模型在生成音效和现场录音方面表现尤为出色,但在音乐生成方面仍有限制,特别是在处理歌声时,且目前主要适用于英语提示输入。
模型训练使用了Freesound数据库中约472,000个符合CC0、CC-BY或CC-Sampling+许可条款的音频片段,开发团队通过一系列自动化检查对训练数据进行了筛选,以避免潜在的版权问题。