首页 > 传媒 > 关键词  > AI音乐生成最新资讯  > 正文

音乐ChatGPT时刻来临!「天工SkyMusic」音乐大模型今日启动邀测

2024-04-02 11:15 · 稿源: 站长之家用户

4月2日,昆仑万维AI音乐生成大模型「天工SkyMusic」即日起面向社会开启免费邀测

本轮邀测将开放1000个免费名额,面向行业媒体、专家、以及感兴趣的音乐从业者开放,用户可扫描文后二维码或通过网页填写申请,收到申请表后工作人员将第一时间联络回复。「天工SkyMusic」正式版也将在4月17日随「天工3.0」面向全社会免费开放。

申请网页:https://rg975ojk5z.feishu.cn/share/base/form/shrcnTcBRpGzv5Sx9xAGd5V97Md

「天工SkyMusic」基于昆仑万维「天工3.0」超级大模型打造,是目前国内唯一公开可用的AI音乐生成大模型。

在通往 AGI 的道路上,多数团队都专注于模型智力的扩展和增强,几乎没有人关注AI如何帮助人们理解和更好地表达情感。智力固然重要,但情感是我们能够被称之为人的关键,于是,情感 AGI 成为昆仑天工探索研究的一个重要方向。

我们发现相比文本和图片,音频内容是理解人类情感最好的方式,而音乐又是人类情感表达最充沛、最不受地域和文化限制的内容载体,不论时代变幻,不论是战争还是灾祸,人们总是能通过音乐传递自己的感受并获得情感的慰藉。于是我们创造了音乐音频大模型「天工SkyMusic」,并在公司内部测试中已经获得了非常好的反馈和表现,很高兴跟大家宣布:即日起天工音乐开放媒体与行业专家内测,来体验人声情感表达 SOTA 的音乐大模型产品。生成作品效果如下:

采用自研类Sora模型架构 拥有五大优势

「天工SkyMusic」采用音乐音频领域类Sora模型架构,Large-scale Transformer 负责谱曲,来学习 Music Patches 的上下文依赖关系,同时完成音乐可控性;Diffusion Transformer 负责演唱,通过LDM让Music Patches被还原成高质量音频,使得「天工SkyMusic」能够支持生成80秒44100Hz 采样率双声道立体声歌曲。这套模型架构在处理视频、音频和音乐领域效果极佳。昆仑万维团队也将在后续逐步迭代和添加新的能力,让模型具备多模态的情感理解与表达能力。

「天工SkyMusic」具有以下五大特点:

1. 高质量AI音乐

「天工SkyMusic」能够生成80秒44100Hz采样率双声道立体声AI歌曲,并可根据用户输入的歌词风格生成对应歌曲风格。

2. 人声“以假乱真”

人声合成是AI音乐生成中最重要、最能体现生成效果和品质的维度。「天工SkyMusic」的AI人声合成能够达到业内顶尖的SOTA水平,中文水平极为优秀,发音清晰、无异响。其中文演唱效果更是显著好于国外产品,领先世界水平。

3. 歌词段落控制

「天工SkyMusic」能够通过歌词来控制歌曲,让生成的歌曲可以明确分辨出不同歌词段落的情绪变化,体现出主歌和副歌、前奏和主歌的段落差异。

4. 多种音乐风格

「天工SkyMusic」支持说唱、民谣、放克、古风、电子等多种音乐风格,用户在创作音乐时,可以通过参考音频制定想要的音乐风格。

5.音乐智能表达- 歌唱技巧学习

「天工SkyMusic」同时能够学习如颤音、歌剧、吟唱、男女对唱,自动和声等多种歌唱技巧,让用户创作的歌曲得到更恰当的情感表达。

一直以来,AI音乐生成大模型都是AI大模型行业最受关注的落地应用之一。早在2022年12月,昆仑万维就发布了「昆仑天工」AIGC全系列开源算法与模型,其中就包括多模态音乐内容生成大模型。此后,昆仑万维更是通过AI音乐生成大模型为北京市东城区域文商旅融合品牌“故宫以东”打造了年度数字主题曲,将AI音乐前沿科技与东城区历史文化深度融合。

今天面向社会开启免费邀测的「天工SkyMusic」更是国内首款、同时也是目前国内唯一公开可用的AI音乐生成大模型。

2023年,昆仑万维在 “All in AGI 和 AIGC” 的战略推动下,在人工智能领域取得了许多进展,逐步形成了AI大模型、AI搜索、AI音乐、AI 漫画、AI社交、AI游戏等AI业务矩阵。

昆仑万维创始人周亚辉表示:“未来三十年,人类社会将从感知线,变成表达线,整个人类社会在自我表达侧要翻1000倍;创作和自我表达是未来30年在整个社交和文化领域增长最快的曲线,会有越来越多人表达自我,表达对世界的理解、对社会事物的态度,表达越来越艺术化和趣味化;这种表达在过去很困难,因为工具门槛高,而未来30年是自我表达的30年,我们要用AI把人类创作的门槛降得足够低,让人们更充分地实现自我表达。”

2024年,昆仑万维发布全新公司使命:“实现通用人工智能,让每个人更好地塑造和表达自我”。

这一使命体现了技术创新与人文关怀的结合,旨在创造一个每个人都能够自由地发挥自己最大潜力的未来。通过通用人工智能,昆仑万维希望构建一个更加智能、更加互联、更加理解和尊重每个人个性的世界。

音乐,将会是其中的重要环节。

通过「天工SkyMusic」,昆仑万维希望帮助每一个人更好地创作音乐,表达情感。

当前,昆仑万维已打造了集AI搜索、AI写作、AI长文本阅读、AI对话、AI语音合成、AI图片生成、AI漫画创作、AI图片识别、AI音乐生成、AI代码写作、AI表格生成等多项能力于一体的「天工3.0」多模态“超级模型”(Super Model),成为AI行业全新里程碑。

本轮「天工SkyMusic」邀测将开放1000个免费名额,面向行业媒体、专家、以及感兴趣的音乐从业者开放。欢迎扫码或通过通过网页填写以下报名表,昆仑万维工作人员将在第一时间联络回复。未申请邀测的用户也可在4月17日免费下载最新版“天工AI智能助手”APP,感受「天工3.0」与「SkyMusic」带来的颠覆性AI体验。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • Tonic Textual:安全数据湖,为生成式AI开发提供数据

    Tonic Textual 是全球首个为大型语言模型(LLMs)设计的Secure Data Lakehouse。它通过自动化流程,帮助企业从云存储中提取、治理、丰富和部署非结构化数据,以支持生成式AI的发展。该产品强调数据隐私保护,利用其专有的命名实体识别(NER)模型自动检测和去标识化敏感信息,同时通过数据合成保持数据的语义真实性。它支持多种数据格式,并通过AWS Marketplace、Google Cloud Marketplace和Snowflake Marketplace提供服务。

  • Outtloud:AI语音助手,将文档转换为自然语音

    Outtloud是一款AI语音助手,可以将用户文档或文本转换成自然流畅的高保真AI语音。它支持超过10种语言和口音,提供100多种AI高级人声。用户可以以高达4倍的速度听书,节省阅读时间,同时在驾驶、通勤、锻炼等任何时间任何地点进行学习。它还具备添加笔记和书签的功能,支持在焦点模式下高亮显示正在播放的段落,以便用户跟随阅读。

  • llama3v:基于llama3 8B的SOTA视觉模型

    llama3v是一个基于Llama3 8B和siglip-so400m的SOTA(State of the Art,即最先进技术)视觉模型。它是一个开源的VLLM(视觉语言多模态学习模型),在Huggingface上提供模型权重,支持快速本地推理,并发布了推理代码。该模型结合了图像识别和文本生成,通过添加投影层将图像特征映射到LLaMA嵌入空间,以提高模型对图像的理解能力。

  • Open LLM Leaderboard:开放的大型语言模型排行榜

    Open LLM Leaderboard是一个由Hugging Face提供的空间,旨在展示和比较各种大型语言模型的性能。它为开发者、研究人员和企业提供了一个平台,可以查看不同模型在特定任务上的表现,从而帮助用户选择最适合自己需求的模型。

  • OpenCompass Multi-modal Leaderboard:实时更新的多模态模型性能排行榜

    OpenCompass多模态排行榜是一个实时更新的平台,用于评估和排名不同的多模态模型(VLMs)。它通过8个多模态基准测试来计算模型的平均得分,并提供详细的性能数据。该平台仅包含开源的VLMs或公开可用的APIs,旨在帮助研究人员和开发者了解当前多模态模型的最新进展和性能表现。

  • I2VEdit:一种基于图像到视频扩散模型的视频编辑技术

    I2VEdit是一种创新的视频编辑技术,通过预训练的图像到视频模型,将单一帧的编辑扩展到整个视频。这项技术能够适应性地保持源视频的视觉和运动完整性,并有效处理全局编辑、局部编辑以及适度的形状变化,这是现有方法所不能实现的。I2VEdit的核心包括两个主要过程:粗略运动提取和外观细化,通过粗粒度注意力匹配进行精确调整。此外,还引入了跳过间隔策略,以减轻多个视频片段自动回归生成过程中的质量下降。实验结果表明,I2VEdit在细粒度视频编辑方面的优越性能,证明了其能够产生高质量、时间一致的输出。

  • Samba-1 Turbo:高效能的AI模型选择与应用平台

    Samba-1 Turbo是一个提供AI模型选择和应用的平台,它允许开发者通过免费的开发者推理服务来试用、比较和评估Samba-1中各种专家模型。此外,平台还提供一些构建在Samba-1之上的演示业务应用程序,以及开源语言专家SambaLingo。Samba-1 Turbo旨在为开发者提供强大的工具,以简化AI模型的集成和应用过程。

  • StreamV2V:实时视频到视频翻译的扩散模型

    StreamV2V是一个扩散模型,它通过用户提示实现了实时的视频到视频(V2V)翻译。与传统的批处理方法不同,StreamV2V采用流式处理方式,能够处理无限帧的视频。它的核心是维护一个特征库,该库存储了过去帧的信息。对于新进来的帧,StreamV2V通过扩展自注意力和直接特征融合技术,将相似的过去特征直接融合到输出中。特征库通过合并存储的和新的特征不断更新,保持紧凑且信息丰富。StreamV2V以其适应性和效率脱颖而出,无需微调即可与图像扩散模型无缝集成。

  • OpenCompass 2.0 Large Language Model Leaderboard:大型语言模型排行榜,实时评估模型性能。

    OpenCompass 2.0是一个专注于大型语言模型性能评估的平台。它使用多个闭源数据集进行多维度评估,为模型提供整体平均分和专业技能分数。该平台通过实时更新排行榜,帮助开发者和研究人员了解不同模型在语言、知识、推理、数学和编程等方面的性能表现。

  • 甲骨文AI协同平台:数字化甲骨文研究与共享平台

    甲骨文AI协同平台是一个专注于甲骨文研究的数字化平台,集成了甲骨文全信息著录库、甲骨文总字表、数字工具箱等资源,通过AI技术辅助甲骨文的释读、研究和教育传播。平台汇聚了众多博物馆、专家学者以及社会各界人士的共同努力,旨在推动甲骨文研究的深入发展和甲骨文化的传承。

  • Cantor:创新的多模态链式思维框架,提升视觉推理能力

    Cantor是一个多模态链式思维(CoT)框架,它通过感知决策架构,将视觉上下文获取与逻辑推理相结合,解决复杂的视觉推理任务。Cantor首先作为一个决策生成器,整合视觉输入来分析图像和问题,确保与实际情境更紧密的对齐。此外,Cantor利用大型语言模型(MLLMs)的高级认知功能,作为多面专家,推导出更高层次的信息,增强CoT生成过程。Cantor在两个复杂的视觉推理数据集上进行了广泛的实验,证明了所提出框架的有效性,无需微调或真实理由,就显著提高了多模态CoT性能。

  • SuperCLUE:领先的AI评测基准,衡量和比较AI模型性能。

    SuperCLUE是一个用于评估和比较大型语言模型性能的在线平台。它提供了多种任务和排行榜,旨在为AI研究者和开发者提供一个标准化的测试环境。SuperCLUE支持各种AI应用场景,包括数学推理、代码生成、超长文本处理等,能够帮助用户准确评估模型在不同任务上的表现和能力。

  • Berkeley Function-Calling Leaderboard:评估大型语言模型调用函数能力的排行榜

    Berkeley Function-Calling Leaderboard(伯克利函数调用排行榜)是一个专门用来评估大型语言模型(LLMs)准确调用函数(或工具)能力的在线平台。该排行榜基于真实世界数据,定期更新,提供了一个衡量和比较不同模型在特定编程任务上表现的基准。它对于开发者、研究人员以及对AI编程能力有兴趣的用户来说是一个宝贵的资源。

  • OpenAI & other LLM API Pricing Calculator:AI项目成本计算器,比较不同AI模型的成本。

    OpenAI和其他大型语言模型(LLM)API的成本计算器,帮助企业和开发者评估和比较不同AI模型在项目中的成本。该工具提供了包括OpenAI、Azure、Anthropic、Llama 3、Google Gemini、Mistral和Cohere等在内的多个模型的价格计算。它基于输入的token数、输出的token数和API调用次数来计算成本。

  • Clay Filter AI:将您的角色照片转换成粘土动画风格的图像

    粘土 AI 是一款 AI 工具,可以将照片转换成粘土动画风格的图像。通过分析面部特征,生成逼真的效果,提供灵活的编辑功能。价格定位为免费使用。使用比较简单,上传你的照片并提交,稍等10-20 秒可以获得粘土动画风格的图像。

  • TopMixLabs:在线AI视频动画生成工具

    TopMixLabs 是一个 AI 动画制作工具,通过上传图片,用户可以轻松地将图像转换为专业级动画,适用于各种规模的企业,提升品牌形象。使用简单,只需要4张照片,上传稍等10 -20分钟左右,即可以生成高质量的动画,生成的动画支持下载mp4格式,而且在平台上创建的动画用于个人和商业目的。

  • StartKit.AI:快速搭建AI创业项目

    StartKit.AI是一个旨在帮助开发者快速构建AI项目的在线平台。它提供了一个包含所有所需功能来发布SaaS产品的AI样板,无需AI经验即可使用。该平台由James和Danielle开发,他们拥有超过10年的SaaS产品开发经验,并成功运营着AI产品Ellie。StartKit.AI集成了30多个模块和超过8000行代码,提供了先进的AI特性,如聊天、图像、文本、语音、翻译和内容审核等。此外,它还包括了OpenAI的所有功能,并支持创建自己的ChatGPT克隆体。产品定位于帮助开发者快速启动AI项目,保持技术领先,并支持通过Stripe进行产品变现。

  • Cressi:AI驱动的个性化购物助手

    Cressi是一个由AI驱动的个性化购物助手,旨在通过分析用户的搜索历史、兴趣、联系人和日历等信息,提供定制化的购物建议。Cressi不仅能够理解用户的偏好,而且能够随着用户生活方式的变化而不断进化,提供真正人性化的购物体验。Cressi致力于使购物更加个性化、高客户满意度,并减少浪费,以实现更有意义和可持续的购物方式。

  • Decks:一款专业的笔记应用,助你快速掌握任何学科

    Decks是一款专为学习设计的应用,它通过创新的笔记方式帮助用户更快地掌握知识。用户可以免费开始使用,并在14天后选择月度或年度订阅。Decks提供每月8美元或每年79美元的订阅选项。

  • AutoPilotI18n:AI驱动的国际化工具 简化i18n流程。

    AutoPilotI18n 是一款利用 AI 技术提供精确翻译的国际化工具,可自动化翻译任务,简化 i18n 流程。其主要优点在于精确翻译、多框架支持、高效工作流程,适用于 React、Vue、Angular 等。AutoPilotI18n 定价透明,提供免费和付费版本。

今日大家都在搜的词: