首页 > 传媒 > 关键词  > 天工3.0最新资讯  > 正文

中国音乐SOTA模型「天工音乐大模型」今日公测

2024-04-17 11:47 · 稿源: 站长之家用户

2024年4月17日,在「天工」大模型一周年之际,昆仑万维重磅宣布,「天工3.0」基座大模型与「天工SkyMusic」音乐大模型正式开启公测!一年前的今天,第一版天工大模型正式对外发布上线,一年来我们不断迭代模型,迭代应用产品,模型和应用都越做越好,以此回报广大用户的支持。

「天工3.0」拥有4000亿参数,超越了3140亿参数的Grok-1,是全球最大的开源MoE大模型。「天工3.0」在语义理解、逻辑推理、通用性、泛化性、不确定性知识、学习能力等领域拥有突破性的性能提升,数学/推理/代码/文创能力提升超过30%。

(天工3.0模型参数超越Grok-1,成全球最大开源MoE专家混合大模型)

强大的模型技术实力赋予「天工3.0」超强的性能表现。在MMBench等多项权威多模态测评结果中,「天工3.0」超越GPT-4V,全球领先

(天工3.0多模态性能超越GPT-4V,全球领先)

同时,「天工3.0」旗下的「天工SkyMusic」音乐大模型也在今日面向全社会开放公测。「天工SkyMusic」是中国首个音乐SOTA模型,更是中国的自研大模型技术第一次在AIGC领域领跑全球。

(天工SkyMusic综合性能超越Suno V3,取得音乐大模型SOTA,领跑全球)

天工SkyMusic:中国首个音乐AIGC SOTA模型

此前,大模型已经在文本、图像等多个技术领域取得突破,带来产业全面变革。然而,在AI音乐生成领域,全球迟迟等不到一款产品,开启「音乐ChatGPT时刻」

这是因为一直以来,AI音乐行业大量研究都集中在符号音乐生成技术路线上,并且大多只能实现无人声背景音乐(Background Music,BGM)的生成,音乐的质量、效果、审美都远远达不到可用水平,产业迟迟未能爆发。

(「天工SkyMusic」自研AI音乐大模型技术架构)

与行业主流路径不同,「天工SkyMusic」采用自研大模型音乐音频生成技术路线。这一路线直接通过大模型技术实现乐器、人声、旋律、音量、音符的一体化端到端音乐生成,技术难度极大,全球只有包括昆仑万维在内的极少数顶尖玩家参与。

在与海外顶尖的AI音乐大模型Suno V3的横向测评中,「天工SkyMusic」在人声&BGM音质、人声自然度、发音可懂度等领域显著领先对手,并以6.65分的综合得分超越Suno V3,成为全球AI音乐SOTA模型

此外,「天工SkyMusic」还拥有独创的参考音乐生成方言歌曲生成能力。

参考音乐生成:用户可上传自有参考音乐,或选择「天工SkyMusic」资料库中现有的参考音乐,从而生成风格、唱腔类似的歌曲,进一步降低音乐大模型的使用门槛,让不熟悉乐理知识的用户也能轻松玩转。

方言歌曲生成:「天工SkyMusic」生成的音乐不仅在人声自然度、发声可懂度等领域表现优秀,更能够支持粤语、成都话、北京话等众多方言,让用户能够更自由地实现音乐表达,传播方言文化。

「天工SkyMusic」是中国首个公开可用的AI音乐生成模型,更是中国自研大模型技术第一次在AIGC领域领跑全球

当前,在文本大模型领域,OpenAI吸引了全球的注意力;但是在AI搜索、AI音乐生成等细分领域,中国玩家们正在奋勇前行,不断通过自研技术取得细分领域顶尖的SOTA表现,共同建设中国大模型产业,打造自主可控的大模型产业生态

天工3.0:4000亿参数,全球最大开源MoE大模型

在上一代「天工2.0」MoE大模型的领先基础上,「天工3.0」实现了全面的性能升级,采用了4000亿级参数MoE混合专家模型架构,是目前全球模型参数最大、性能最强的开源MoE模型。

「天工3.0」的逻辑推理能力、语义理解能力、应对复杂需求能力、内容创作能力全面升级,并新增了多轮搜索与综合工具调用图表绘制研究模式增强模式改图扩图等多项AI能力,为用户带来全新AI体验。

多轮搜索与综合工具调用:「天工3.0」针对模型独立规划、调用、组合外部工具及整合信息的能力进行了专项训练,使其能够独立生成并调用代码,完成包括产业研究、产品横评、信息分析、图片生成、图表绘制等多种复杂用户需求。

同时,「天工3.0」能够通过强大的语义理解能力将用户任务拆解成细分环节,实时判断是否需要联网或调用工具,进行单轮或多轮的联网搜索、工具调用,完成包括多轮搜索、热点信息分析、图片生成等复杂用户需求。

(Query:查询最新中国历史电影票房排行,图表展示)

图表绘制:「天工3.0」全面提高了逻辑推理能力与用户自然语言Query的理解能力,使其能够更精准地判断用户需求,独立生成并调用代码,结合文本需求实时进行内容分析及图表构建,为用户带来更直观、高效的对比结果。

(Query:北京、上海、重庆哪个好玩?)

多轮搜索、综合工具调用、图表绘制等都是「天工3.0」所独有的大模型综合能力,其从底层打通了「天工3.0」的AI搜索、AI对话、AI代码生成、AI图片识别、AI图像生成等底层能力,通过语义识别能力直接触发,为用户带来更加便捷、高效的AI体验,成为真正的AI生产力工具。

此外,「天工3.0」中还增加了研究模式、增强模式、改图扩图等多项AI能力。

研究模式:在研究模式中,「天工3.0」能够围绕用户的某个简单指令进行相关问题的延伸,自动生成研究大纲、图谱、实践总结、思维导图,帮助用户快速清晰地把握核心内容,完成用户复杂的研究需求。

(Query:康乾盛世年代)

增强模式:在增强模式中,「天工3.0」能够针对用户的复杂Query进行拆解、细化、并进行追问、信息理解与补全,使其在自然语义理解方面性能更强,面对不确定性知识时表现更好,能够更精准、高效地满足用户需求。

(Query:2024年春节档电影;「天工3.0」理解并追问用户需求)

改图扩图:「天工3.0」多模态性能取得全面突破,超越GPT-4V,综合排名全球第一。在强大的技术底座支持下,「天工3.0」的AI绘图能力新增了图片尺寸扩展、图片定向调整、垫图生图、垫图进化、垫图扩图等全新功能。

(「天工3.0」的AI改图、修图、扩图等功能)

关于昆仑万维

自去年4月17日「天工」大模型正式推出以来,昆仑万维已围绕「天工」系列大模型建起AI大模型、AI搜索、AI音乐、AI视频、AI社交、AI游戏等AI业务矩阵,是国内模型技术与工程能力最强、布局最全面的人工智能科技企业之一。

这一年里,除了对「天工」系列基座大模型进行不断升级迭代,昆仑万维还推出了国内第一款AI搜索引擎「天工AI搜索」、开源了百亿级大语言模型「天工Skywork-13B」、推出国内领先的AI Agent开发平台「天工SkyAgents」等一系列前沿大模型产品。

当前,「天工」系列大模型已集成了AI音乐、AI搜索、AI写作、AI长文本阅读、AI画图、AI语音合成、AI漫画创作、AI图片识别、AI代码写作、AI表格生成等多项能力,并将在未来加入AI视频功能,对标“超级应用”,成为人工智能时代的“超级大模型”(Super Model)。在“实现通用人工智能,让每个人更好地塑造和表达自我”的公司使命驱动下,昆仑万维将始终致力于AI技术与产品的创新开拓,不断提高AI产品的用户体验,与用户、研究人员、开发者们携手,共创国产大模型的未来。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • 知了zKnown:致力于信息降噪 / 阅读提效的个人知识助手

    知了 zKnown 是一款 AI-Native 构建的个人知识助手,专注于信息降噪和阅读提效。它通过多端同步、多渠道总结、长文本支持等功能,帮助用户高效地管理和整理信息。产品的主要优点包括:- 多端同步:用户可以在移动app、桌面客户端、网页版、小程序等多个平台同步使用。- 多渠道总结:支持微信公众号、知乎、简书、36Kr、少数派等多个渠道的文章总结。- 长文本支持:最长支持总结3万字的文章内容。- 摘要导出:用户可以将摘要保存到 Notion、Flomo 等平台。- 产品背景:知了 zKnown 致力于通过 AI 技术提升用户的阅读和信息管理效率,适合需要高效处理大量信息的用户。

  • MBox AI Meet:实时转录与会议总结的谷歌会议扩展

    MBox AI Meet是一款免费Chrome扩展,专为Google Meet设计,提供实时转录和自动生成会议总结的功能。它利用AI技术帮助用户在会议中专注于讨论,而无需担心记笔记。该工具通过实时转录捕捉会议的每一个细节,并在会议结束后自动生成总结,确保用户不会错过任何重要信息。MBox AI Meet的隐私优先策略确保会议安全,不存储任何音频或视频内容。此外,该扩展还计划在未来更新中增加更多AI功能,如发言人识别、实时AI助手等。

  • Klee:本地安全AI,保障数据隐私。

    Klee是一款macOS原生的AI助手应用程序,专注于本地处理数据,确保数据安全和隐私。它使用先进的AI技术,如RAG(检索增强生成)和开源大型语言模型,如Llama 3和Mistral,为用户提供高效、智能的笔记、搜索和知识管理功能。Klee的主要优点包括本地运行以保护隐私、支持团队协作、免费使用以及优化的macOS体验。

  • Kipps.AI:快速构建AI助手,提升业务效率

    Kipps.AI 是一个在线平台,允许用户在短短两分钟内构建自己的AI助手,并将其集成到业务中。该平台支持多种数据源,如PDF、Notion、网站链接和文本,用户只需提供这些数据,Kipps.AI 会处理其余部分。它还与常用的工具如GoDaddy、Wordpress、Drupal、Squarespace、Magento和Wix等进行集成,使得用户可以轻松地将AI助手集成到现有的业务流程中。

  • CrossPrism for MacOS:图像识别、标注和关键词生成工具

    CrossPrism for MacOS 是一款专为摄影师设计的图像识别、标注和关键词生成工具。它利用多核 CPU、GPU 和神经引擎,能够识别物种、生成标题和描述,并支持模型训练的可定制性。用户可以在本地自动标注无限量的原始照片,确保所有照片安全地存储在 Mac 上,无需担心云服务中断、数据锁定或文件传输问题。其20多个专家模型可以对从鸟类到地标的各种内容进行分类,并提供新的视角来整理目录和重新发现旧照片。此外,它还支持视频处理、Lightroom 插件、图像质量评估等功能,使其成为一个强大的筛选工具。

  • ZETIC.ai:构建零成本的设备端AI。

    ZETIC.ai提供了一种革命性的设备端AI解决方案,使用NPU技术帮助企业减少对GPU服务器和AI云服务的依赖,从而显著降低成本。它支持任何操作系统、任何处理器和任何目标设备,确保AI模型在转换过程中不损失任何核心功能,同时实现最优性能和最大能效。此外,它还增强了数据安全性,因为数据在设备内部处理,避免了外部泄露的风险。

  • Kerqu.Ai:一站式AI内容生成器,助力跨境电商提升效率。

    Kerqu.Ai是一个为跨境电商卖家提供一站式AI解决方案的平台,整合了先进的AI技术,帮助用户节约成本、提升品牌影响力和销售转化率。产品通过AI技术实现模特换场景、AI图片创作、批量抠图、图片变高清等功能,同时提供一键撰写文案、优化文案和多语言翻译服务,满足多站点经营需求。

  • ReviewHawk:通过分析用户评论,降低用户流失率。

    ReviewHawk是一个专注于分析应用商店评论的工具,旨在帮助企业降低用户流失率,获取用户反馈,从而改善产品。它通过数据驱动的决策和用户满意度分析,帮助企业了解用户真正想要的功能,从而提升用户留存率和产品满意度。

  • Airtable Cobuilder:快速创建与管理数据的应用程序

    Airtable Cobuilder 是一款强大的应用程序构建工具,旨在通过简单的拖放界面和AI辅助功能,帮助用户快速创建和管理数据。它允许用户连接和简化他们最关键的数据,通过可视化数据、自定义视图和集成其他业务工具,提高团队协作和数据管理的效率。该工具特别适合需要高度定制化和灵活性的业务应用场景。

  • Alertfor:追踪网络信息,及时获取答案变化

    Alertfor 是一个在线平台,通过其专有的AQTA (Ask Question Track Answer) 流程,允许用户提交复杂问题,并在网页上寻找最相关的答案。它通过持续追踪提供连续的更新,确保用户能够获得准确且及时的信息。

  • Unskool:家长支持工具,助力家庭教育

    Unskool是一个由家长为家长制作的辅助工具,旨在简化家庭教育过程。它通过去除繁琐的行政工作,让家长能够专注于创造一个丰富的学习环境,让家长和孩子都能茁壮成长。Unskool提供了跟踪、记录和灵感激发的功能,并通过人工智能生成定制的、按需的课程计划,帮助家长更高效地进行家庭教育。

  • AI Generated Diagram:智能生成图表工具

    AI Generated Diagram 是一款利用人工智能技术生成图表的工具。它通过用户输入的提示(prompts)来创建图表,支持多种布局类型,如水平布局(Horizontal)。用户可以通过编辑、配置等操作来调整图表的细节,并支持导出为SVG格式或导出数据。该工具不仅提高了设计图表的效率,还通过AI技术提升了图表的美观度和准确性。

  • Free AI Image Extender:使用人工智能扩展图像边界

    AI Image Extender 是一款利用人工智能技术扩展图像边界的工具,通过生成新内容与现有图像无缝融合,增强图像的视觉延展性。该产品通过先进的AI算法,能够智能识别图像内容并生成自然过渡的扩展区域,适用于需要图像扩展或背景生成的各种场景。

  • Capacities:一个为你的思维打造工作室的APP

    Capacities是一个旨在改善人们思考方式和工作流程的应用程序。它通过使用对象而非传统文件和文件夹来组织信息,帮助用户更直观地理解和连接复杂的信息结构。该应用支持网络化笔记,使用户能够自然地构建信息网络,激发新的创意。Capacities还提供AI助手,帮助用户与笔记中的对象动态互动,并提高写作质量。此外,该应用注重数据安全和隐私保护,符合GDPR标准,数据存储在欧盟的加密服务器上。

  • CLASI:高质量、类人同声传译系统

    CLASI是一个由字节跳动研究团队开发的高质量、类人同声传译系统。它通过新颖的数据驱动读写策略平衡翻译质量和延迟,采用多模态检索模块来增强特定领域术语的翻译,利用大型语言模型(LLMs)生成容错翻译,考虑输入音频、历史上下文和检索信息。在真实世界场景中,CLASI在中英和英中翻译方向上分别达到了81.3%和78.0%的有效信息比例(VIP),远超其他系统。

  • image-matting:AI抠图项目,使用开源模型实现图像抠图。

    image-matting 是一个基于开源模型 briaai/RMBG-1.4 的AI抠图项目。该项目旨在通过学习AI技术、GUI开发、前端学习以及i18n国际化等技术,实现本地模型算法的图像抠图功能。它支持单张和批量抠图,用户可以通过拖拽和粘贴的方式快速进行图像处理。项目还提供了打包后的运行文件下载链接,方便用户使用。

  • OnlyPans:AI定制周晚餐计划

    OnlyPans是一个利用人工智能技术为用户提供定制化晚餐计划的应用程序。它通过与用户的简短聊天来了解用户的预算、口味偏好、语言习惯、饮食限制以及日常生活的忙碌程度,然后快速生成符合用户需求的晚餐计划。随着用户使用时间的增长,OnlyPans会不断学习和优化,提供更加个性化的服务。此外,OnlyPans还提供智能购物清单功能,帮助用户避免食品浪费和不必要的紧急购物。OnlyPans注重用户隐私保护,承诺不会出售用户的任何信息。

  • Excel Dashboard AI:将Excel转换为仪表板和报告的AI工具。

    Excel Dashboard AI是一款利用人工智能技术,将Excel数据快速转换为交互式仪表板和分析报告的工具。它通过自然语言处理能力,允许用户以对话形式与数据进行交流,从而迅速获得洞察。产品的主要优点包括快速生成多样化的数据分析维度、自然语言编辑和锁定分析视角、一键生成交互式仪表板、AI解读图表含义以及将仪表板转换为详尽的分析报告等。

  • 清影 AI 视频生成服务:基于 AI 技术生成视频内容的智能服务。

    清影 AI 视频生成服务是一个创新的人工智能平台,旨在通过智能算法生成高质量的视频内容。该服务适合各种行业用户,能够快速便捷地生成富有创意的视觉内容。无论是商业广告、教育课程还是娱乐视频,清影 AI 都能提供优质的解决方案。该产品依托于先进的 GLM 大模型,确保生成内容的准确性与丰富性,同时满足用户个性化需求。提供免费试用,鼓励用户探索 AI 视频创作的无限可能。

  • Tempest AI:无需编码,10分钟构建游戏

    Tempest AI是一个无需编码即可快速构建游戏的平台。它利用强大的AI助手帮助用户从零开始创建游戏,支持动态角色、适应性任务和互动世界。用户可以通过拖放编辑器构建世界,设计游戏机制,并通过故事构建器控制游戏叙事。Tempest AI不仅适合游戏开发者,也适合那些希望探索创意和互动叙事的爱好者。

今日大家都在搜的词: