首页 > 业界 > 关键词  > OpenVoice最新资讯  > 正文

MyShell发布开源AI语音克隆工具OpenVoice,瞄准语音模仿领域

2024-01-03 09:26 · 稿源:站长之家

**划重点:**

1. 🔍 **开源创新**:MIT、清华大学与加拿大AI初创公司MyShell联手推出开源语音克隆工具OpenVoice,在克隆用户声音方面,采用了概念简单但高效的方法,大幅减少计算资源消耗。

2. 🌐 **功能强大**:OpenVoice提供几乎即时的语音克隆,同时具备其他克隆平台所不具备的细致控制,包括语调、情感、节奏、停顿和语调等多方面的精确调整。

3. 💼 **MyShell商业模式**:MyShell计划通过开源OpenVoice,通过其Web应用提供月度订阅、第三方机器人创建者推广费用以及人工智能培训数据费用等多方面赚取收入。

站长之家(ChinaZ.com)1月3日 消息:MyShell最新推出的开源语音克隆工具OpenVoice引起了广泛关注。这一创新产品由麻省理工学院(MIT)、清华大学以及加拿大人工智能初创公司MyShell合作开发。OpenVoice采用了一种概念简单但高效的方法,可几乎即时克隆用户的语音,并使用明显更少的计算资源。

image.png

该工具不仅具备语音克隆的基本功能,而且提供了细致入微的控制选项,涵盖语调、情感、节奏、停顿和语调等多个方面。这意味着用户可以通过OpenVoice生成具有个性化风格的语音克隆,而无需花费大量时间和计算资源。

在作者的非科学性测试中,使用OpenVoice在HuggingFace平台上生成了一个相对令人信服的语音克隆,仅需几秒钟的随机语音即可完成。与其他语音克隆应用不同的是,用户无需朗读特定文本片段,只需随意说几秒钟的话,即可立即生成可播放的语音克隆,读取提供的文本提示。

OpenVoice的背后是两个主要的AI模型:文本到语音(TTS)模型和“音调转换器”模型。TTS模型控制“风格参数和语言”,并且通过来自两名英语演讲者(美国和英国口音)、一名中文演讲者和一名日本演讲者的30,000个句子的音频样本进行训练。与此同时,音调转换器模型则通过来自20,000多名不同演讲者的300,000个音频样本进行训练。

image.png

通过将用户提供的录音音频的音调与TTS模型的“基础发声者”结合起来,这两个模型共同可以复制用户的语音,并改变其“音调颜色”或文本所表达的情感表达。与其他方法相比,OpenVoice的方法在克隆语音时大大减少了计算资源的使用,包括Meta的竞争对手Voicebox。

MyShell,作为OpenVoice的推动者,成立于2023年,总部位于加拿大艾伯塔省的卡尔加里,通过由INCE Capital主导的560万美元种子轮融资以及Folius Ventures、Hashkey Capital、SevenX Ventures、TSVC和OP Crypto的额外投资,已经吸引了超过400,000名用户。该初创公司通过其Web应用提供各种基于文本的AI角色和机器人,包括一些带有不同“个性”的角色,还提供动态GIF制作工具和用户生成的基于文本的角色扮演游戏。

尽管MyShell将OpenVoice开源,但该公司仍通过其Web应用的月度订阅、希望在应用程序内推广其产品的第三方机器人创建者费用以及人工智能培训数据费用等多方面赚取收入。这种商业模式旨在为MyShell提供可持续的经济基础,从而在开源和商业利益之间找到平衡。

项目体验网址:https://top.aibase.com/tool/openvoice

论文网址: https://arxiv.org/abs/2312.01479

举报

  • 相关推荐
  • AI最新资讯在哪里看?AIbase:高效获取国内外AI新闻头条与行业动态

    文章探讨了AI时代信息过载的困境:有价值的前沿动态、重磅模型发布和行业解读分散各处,筛选成本高、效率低下。AIbase资讯导航站应运而生,通过四大核心功能解决痛点:1)聚合主流信源,过滤低质噪音;2)结构化分类呈现大模型动态、行业应用等六大板块;3)提炼核心要点,拒绝标题党;4)高频更新确保信息鲜度。该平台致力于成为AI领域的"信息雷达",帮助用户节省70%信息搜集时间,将精力聚焦于思考与创造。适用于技术负责人快速掌握行业动态、产品经理调研案例、投资人捕捉趋势等多元场景。

  • 重磅!标贝科技推出「十万音色·自然语音数据集」 重构AI语音训练基础设施

    标贝科技发布"十万音色·自然语音数据集",覆盖中英双语,包含10万种音色样本(中文5万、英文5万),基于近百万小时原始数据经智能生产线精细打磨。该数据集在规模、真实性和准确性三大核心指标实现突破,支持多情感表达和跨场景应用,涵盖基础情绪到特定风格,话题涉及多个领域。通过音频质量筛选、文本转写校正、说话人分离等技术,从海量数据中甄选出高质量样本,为语音识别、合成等AI模型训练提供坚实基础,助力实现更自然、真实的语音交互体验。

  • 大模型技术赋能声音创作:逗哥配音引领AI语音合成新浪潮‌

    逗哥配音作为国内领先的AI配音平台,凭借自主研发的语音合成大模型技术,已服务超千万创作者,累计生成音频量突破270亿次。其核心技术突破包括:1)支持40种语言,语音质量MOS分提升0.25,拟人度超83%;2)首创"AI分角功能",将多角色配音效率提升90%以上;3)建成覆盖近千款发音人的全球声库,包含方言、外语及影视角色音;4)创新"真人声纹+AI增强"模式,

  • ISC.AI PARK:科技博主集体打卡!AI原来可以这么“酷”

    ISC.AI2025大会8月6-7日在北京国家会议中心成功举办,以"ALL IN AGENT"为主题。展会全新升级为"ISC.AI PARK",吸引超万名观众参观。360集团、华为、百度智能云等科技巨头及行业领军企业参展,集中展示了AI与数字安全领域的前沿技术和创新应用。AI互动区设置办公、生活、娱乐等场景体验,机器人表演、智能设备等吸引观众驻足。科技博主现场互动体验AI赋能安全行业的产品,直观感受AI技术带来的变革。大会展现了AI技术在各领域的融合应用,推动构建更安全智能的世界。

  • ChatGPT语音模式增添新功能:可调语速 支持0.5到2.0倍速

    OpenAI为其ChatGPT网页应用的语音模式推出新功能,加入语音速度”调节与自定义指令前缀”,同时配合此前升级的模型选择器,进一步提升用户体验。 新增的语音速度”选项让用户可通过滑块自由调整ChatGPT的语速,范围从0.5倍速到2.0倍速,不过该功能目前仍处于隐藏状态,尚未正式开放。 自定义指令前缀”功能则允许语音模式记住用户的特定要求,避免重复输入。系统明确�

  • 哪里找最新AI工具官网?如何快速对比ChatGPT替代品?AI工具导航指南 - AIbase

    文章探讨了在AI工具爆炸式增长的时代,用户面临的信息过载和筛选困难问题。主要内容包括:1)AI领域迭代速度远超传统软件,个人追踪信息效率低下且容易错过关键更新;2)AIbase.cn平台致力于解决这一问题,通过聚合主流AI工具、严格审核信息来源、持续更新行业动态;3)平台提供多维对比功能,结构化呈现工具参数,帮助用户快速定位适合需求的解决方案;4)建议用户定期浏览平台资讯栏目,善用搜索筛选功能,通过对比视图做出明智选择。核心价值在于降低信息筛选成本,让用户更高效地获取有价值的AI工具和前沿资讯。

  • 主论坛前瞻|「拥抱AI变革,点燃算网引擎」:ODCC邀您探索算网新世界

    2025年第十二届开放数据中心大会(ODCC)将于9月9-11日在北京举行。大会聚焦AI变革与算力发展,围绕算力、网络、能源、制冷、运维等全链路协同展开讨论。华为、三星、博通等企业将分享最新实践,探讨液冷技术、智能运维等关键议题。主论坛将于9月10日举行,发布年度成果并解读技术趋势。大会旨在推动算力产业标准化发展,为AI时代提供系统性解决方案。

  • 百度搜索PC端全量上线AI功能

    百度对外宣布其搜索PC端首页已完成全量升级,将传统信息入口一举升级为任务中枢,为用户带来前所未有的智能搜索体验,进一步巩固了其在国内AI搜索行业的领先地位。 此次升级后的百度搜索PC端首页亮点纷呈。新增的“超级智能双行框”成为一大核心亮点,它支持用户一键进行深度搜索,无论是面对复杂的专业问题,还是多维度信息需求,都能快速给出精准且全面的解答

  • AI日报:阿里开源Qwen-Image-Edit;淘宝“AI万能搜”功能灰度测试;小红书发布DynamicFace人脸生成技术

    本期AI日报聚焦多项AI领域创新:1)阿里开源Qwen-Image-Edit图像编辑模型,支持中文渲染与精准文本编辑;2)淘宝测试"AI万能搜"功能,重构电商搜索体验;3)小红书发布DynamicFace人脸生成技术,实现高质量图像视频换脸;4)Gemini API新增URL Context功能,简化网页内容获取流程;5)Nvidia推出小型开放模型Nemotron-Nano-9B-v2,支持智能推理开关;6)马斯克发布Grok Imagine 0.1测试版,进军AI图像生成领域;7)Vercel推出iOS版AI开发工具v0;8)理想汽车发布MindGPT 3.1模型,处理速度提升5倍;9)ToonComposer工具简化动画制作流程;10)ElevenLabs推出视频到音乐生成流程。

  • AI火花集|AI火花先锋添新力,拆解保险、客服、物联网AI落地实战

    AI正加速渗透产业,2025年全球AI投资预计达2000亿美元,年增长近翻倍。保险、电商客服、智能家居成为落地先锋。暖哇科技、云起未来、蜂助手分别聚焦保险理赔自动化、电商智能客服、5G+AI物联网,通过实战方案推动AI从概念验证走向规模化应用。面临数据价值陷阱、流通壁垒等挑战,企业需构建专业知识库并优化人机协同。未来AI将深入产业毛细血管,汇聚零散创新火花,�

今日大家都在搜的词: