首页 > 业界 > 关键词  > 正文

VampNet:一种用于音乐合成、压缩、修复等AI音乐生成方法

2023-07-18 17:51 · 稿源:站长之家

站长之家(ChinaZ.com)7月18日 消息:由于离散声学标记建模的发展,最近在语音和音乐的自回归创建方面取得了重大改进。研究人员开发了一种名为 VampNet 的音乐生成方法,它利用了声学token建模和并行迭代解码的技术。

据称,VampNet 可以用于音乐合成、压缩、填充和变体等多个应用领域。

image.png

研究人员使用基于token的提示来指导 VampNet 的创作,展示了其填补空白的能力。VampNet 可以根据不同的提示设计产生音乐的变体,包括循环和变化。该方法可以在音乐压缩和音乐制作之间进行平滑过渡。

在适当的提示下,VampNet 能够保持音乐的风格、流派、乐器和其他高级方面,同时改变了音色和节奏的一些细微差别。他们的方法允许将提示放在任何地方,这与自回归音乐模型不同,自回归音乐模型只能通过利用一些原始音频作为提示并让模型扩展音乐内容。 这种灵活的提示能力使 VampNet 成为强大的音乐共同创作工具。

使用智能工具和模型预测自动进行标记以节省时间。音乐家可能会使用 VampNet 录制一个简短的循环,将其输入到系统中,并让 VampNet 在每次重复循环区域时根据这个想法生成音乐变体。

论文地址:https://arxiv.org/abs/2307.04686

举报

  • 相关推荐
  • Stability AI发布AI音乐生成工具“Stable Audio” 可生成长达90S音乐

    伦敦初创公司StabilityAI发布了一款名为StableAudio的AI音乐生成工具,标志着音乐创作领域再次迎来了创新。StableAudio采用了一种称为潜在扩散的技术,据称可以生成高质量、商业可用的音乐。StabilityAI表示,他们正在积极采取措施来确保内容的真实性,包括在图像模型中实施水印技术,以便用户和平台可以识别通过其托管服务生成的AI辅助内容。

  • Suno AI推文本到音乐模型Chirp v1 可根据风格和歌词生成音乐

    Suno是一家专门从文本生成AI音频的美国创业公司。该公司最近推出了最新的文本到歌曲模型Chirpv1,它可以根据风格和歌词生成音乐,包括人声。关于付款模型的更多信息可以在这里找到。

  • 吾爱大神超强AI智能语音合成工具Read Aloud 集成微软TTS语音合成技术

    为大家介绍一款名为ReadAloud的Windows电脑版文字转语音工具,由吾爱大神制作。这款工具集成了微软的TTS语音合成技术,可以支持几十种语言进行语音合成转换,声音逼真度极高。这个工具对于那些不擅长说话或需要标准发音的人来说是一个福音,可以合成完美的语音来代替自己说话,特别适合懒人和外语学习者使用。

  • StreamingLLM:让AI模型无限期平稳运行的一种方法

    Meta、麻省理工学院和卡内基梅隆大学的研究人员最近发表的一篇新论文介绍了一项名为StreamingLLM的创新技术,旨在解决大型语言模型在长时间对话中性能下降的问题。LLMs如OpenAI的ChatGPT和Meta的Llama2在当今的人工智能领域备受关注,但它们都面临一个共同的挑战,即在与用户的对话中始终提供高质量的响应,无论对话持续多长时间或交换的对话数量如何。StreamingLLM技术为LLMs在长时间对话中保持高性能提供了创新的解决方案,有望在许多领域,特别是需要持续不断地与用户交互的应用中得到广泛应用。

  • GameGPT一种全自动游戏开发的多代理方法

    游戏开发领域面临日益复杂的挑战,包括庞大的代码库、数百万行代码、多年的开发周期和高昂的成本。这种复杂性源于对图形、物理、人工智能、开放世界和在线互联等方面的不断追求,但也导致了开发人员的压力和工作量不断增加。GameGPT代表了如何利用AI来解决游戏开发领域的挑战,但它仍处于早期阶段,需要进一步的研究和发展,以确定其在实际游戏开发中的可行性。

  • AI音乐创作助手Soundful 提供各种风格的音乐模板

    Soundful是一个一站式音乐创作助手,让你只需轻点按钮就能创作出专业水准的原创音乐。Soundful提供各种风格的音乐模板,涵盖流行、电子、嘻哈等多种流派。你无需安装任何音乐创作软件,只需在网站界面调节和编排素材,就能导出高品质的成品音乐文件。

  • Wayve推出GAIA-1 9B,通过生成合成视频训练自动驾驶

    英国初创公司Wayve在2023年6月发布了GAIA-1,这是一款为自动驾驶车辆培训数据设计的生成式模型。GAIA-1的最新版本,GAIA-19B,已经取得了令人瞩目的进展。这种基于文本的逻辑可以增加车辆的安全感,使人工智能的决策不再像一个“黑盒子”。

  • Hook:利用AITikTok的热门音乐制作法的混音

    音乐混音应用Hook的创始人GauravSharma希望利用人工智能来帮助音乐粉丝合法地创作他们最喜欢的音乐曲目的混音版本,以在短视频应用如TikTok上分享。这个应用计划通过提供用户一种选择不超过60秒的歌曲片段并使用Hook的工具来添加他们自己的风格来实现这一目标。他们计划利用AI技术来实现这一目标,并已获得资金支持,计划在未来推出应用程序。

  • 在线AI音乐分析工具SONOTELLER:可一键分析YouTube链接中的音乐

    SONOTELLER是一个在线AI音乐分析工具,专门用于分析YouTube上的音乐和歌词。该工具提供了丰富的音乐信息,包括歌曲摘要、语言识别、内容标记、主要音乐流派和子流派、主要演奏乐器以及情感分析等等。使用SONOTELLER非常简单,只需前往YouTube,搜索所需歌曲,复制其URL,然后将URL粘贴到SONOTELLER.AI的搜索框中即可获取详细分析结果。

  • 高通腾讯音乐推出 “骁龙臻品音质” 利用AI丰富音乐细节

    高通技术公司和腾讯音乐娱乐集团合作推出了业界首创的“骁龙臻品音质”。通过利用骁龙移动平台的强大AI计算性能,在终端侧高效运行QQ音乐臻品音质AI模型算法,为用户带来更丰富的音乐细节、更有层次的听感以及更持久的音乐享受时长。双方将继续探索智能终端AI应用,满足用户对高品质音频的期待。

今日大家都在搜的词: