首页 > 业界 > 关键词  > WhisperSpeech最新资讯  > 正文

开源文本到语音系统WhisperSpeech 通过反向工程实现

2024-01-22 11:38 · 稿源:站长之家

站长之家(ChinaZ.com)1月22日 消息:WhisperSpeech是一个开源的文本到语音系统,其最大的亮点是通过对OpenAI的Whisper语音识别模型进行反向工程,实现了接收文本输入,并利用修改后的Whisper模型生成听起来自然的语音输出。WhisperSpeech的语音输出在发音准确性和自然度方面都非常出色。

image.png

体验地址:https://top.aibase.com/tool/whisper-speech

目前,WhisperSpeech模型是在英语LibreLight数据集上训练的,但下一个版本的目标是多种语言(Whisper和EnCodec都是多语言的)。系统还可以在单个句子中混合多种语言,并且增加了测试语音克隆的简便方法。

WhisperSpeech 项目路线图:

-声学标记提取:改进声学标记的提取过程。

-语义标记提取:使用Whisper模型生成和量化语义标记。

-S->A模型转换:开发将语义标记转换为声学标记的模型。

-T->S模型转换:实现从文本标记到语义标记的转换。

-提升EnCodec语音质量:优化EnCodec模型以提高语音合成质量。

-短句推理优化:改善系统处理短句的能力。

-扩展情感语音数据集:收集更大的情感语音数据。

-文档化LibriLight数据集:详细记录HuggingFace上的数据集。

-多语言语音收集:聚集社区资源,收集多种语言的语音。

-训练多语言模型:开发支持多语言的文本到语音模型。

举报

  • 相关推荐
  • 周鸿祎:DeepSeek践行开源精神 是真正的“Open AI”

    据报道,中国人工智能企业DeepSeek近期遭遇了来自美国的全方位打压,包括调查、禁用、污名化指责以及大规模攻击等,这一系列事件迅速引起了社会各界的广泛关注。360公司董事长周鸿祎指出,美国此番过激反应的背后,实则映射出DeepSeek所倡导的以开源共享为核心的AI发展新模式,已经对美国在AI领域的基础设施构成了根本性挑战。”他说:开源本来是在美国硅谷兴起的一种文化,美国现在发展却越来越封闭,居然有一天轮到中国人来教美国人什么叫开源,什么叫开放,这世界真的是轮流转了。

  • 华为首款开放式耳机 曝FreeClip新配色玫瑰金2月开售

    2024年12月,华为海外官网新增华为FreeClip玫瑰金”配色,许多网友关心新配色何时发售。FreeClip玫瑰金预计在2月中旬开售。华为FreeClip内置55mAh电池,可播放8小时音乐,搭配耳机盒使用可实现36小时续航,40分钟即可充满,充电10分钟可畅听3小时。

  • DeepSeek在美超越ChatGPT!问鼎苹果免费App第一

    DeepSeek的热在持续ing。就在刚刚过去的周末,DeepSeek反超ChatGPT,一举登顶美区苹果应用商店免费App排行第一!其热度之高,有网友甚至这样描述:至于原因,正是DeepSeek在前几天开源的推理模型R1,引发了一阵又一阵的舆论热潮。从DeepSeek的热度延伸出来,国货之光的含金量还在上升:对于DeepSeek引爆的热点话题,LeCun则站出来表示:DeepSeek接下来还会引发怎样的热潮,是值得继续关注一波。

  • ChatGPT回应被DeepSeek超越:排名变化也许是暂时的

    据报道,一则DeepSeek应用超越ChatGPT,登顶苹果美国区免费App下载排行榜”的消息引爆市场,海内外的技术同行、投资机构都在讨论这家被称为大模型版拼多多”的中国公司。对于下载榜排名的变化,ChatGPT回应称,DeepSeek如果能够在短时间内超越ChatGPT,可能是在某些方面有独特的优势或者满足了用户的某种需求。DeepSeek-R1的预训练费用为557.6万美元,不到OpenAIGPT-4o模型训练成本的十分之一。

  • 流量逆转!DeepSeek美国访问量激增 ChatGPT明显下降

    根据在线分析平台Semrush的数据,尽管ChatGPT仍然是全球最受欢迎的AI应用之一,但其流量正在下降新兴的DeepSeek正在迅速崛起。目前DeepSeek在消费者活动方面仍落后于ChatGPT,ChatGPT的平均每日访问量保持在数千万。尤为值得一提的是,印度成为了这款应用新用户增长的最大引擎”,其下载量占据了所有平台下载总量的15.6%。

  • AI 直接抢饭碗?Deep Research曝光20个高危岗位,DeepSeek怎么看?

    饭碗就不稳了?!OpenAI最新推出的智能体DeepResearch通过提示词,直接生成了一张震撼的榜单——20个最容易被AI取代的职业!这个名为DeepResearch的智能体你只需要给它一句话指令,它就能自动上网搜寻论文、扒网页、读PDF,像个资深研究员一样,轻松分析资料,最后为你呈现一份带有独立见解的专业报告。它可不是简单的百度搜索引擎是真正理解内容、对比信息、推理结论的能力,相当于雇了个24小时不休息的学霸助理,帮你做研究。比如:市场分析师可以用AI快速抓取数据,自己专注于深度分析;文案可以用AI生成初稿,然后自己精修,提升效率;社交媒体经理可以用AI规划发帖时间,自己专注内容创意。

  • DeepSeek日活突破2000万:达ChatGPT的40%

    据报道,国内AI产品榜的最新统计数据显示,DeepSeek应用在上线仅20天后,便取得了令人瞩目的成绩。其日活跃用户数迅速突破2000万大关,具体数字高达2215万。深度学习研究员岗位的薪资水平为50~80k,14薪,工作地点为北京,招聘要求是在校或者应届的硕士生。

  • 雷军挖角的AI天才少女来自DeepSeek:开源大模型关键开发者之一

    此前,雷军千万年薪挖掘天才AI少女”的话题爆火,这位天才少女名叫罗福莉,是DeepSeek开源大模型DeepSeek-V2的关键开发者之一。就在DeepSeek-V3发布前几天,小米创始人雷军开出千万元年薪招聘罗福莉,领导小米AI大模型团队。有网友认为,DeepSeek是OpenAI与英伟达都未曾预见的黑天鹅。

  • 让美国硅谷恐慌!中国工程院院士揭秘:DeepSeek究竟厉害在哪里

    在AI领域,DeepSeek带来的影响力,一点也不亚于六代机”。DeepSeek究竟厉害在哪里?对那些看到DeepSeek表现并认为中国在AI领域正超越美国的人言,你的解读错了”,杨立昆在Threads写道,正确解读应是开源模型正超越专有模型”。

  • DeepSeek新模型霸榜,代码能力与OpenAI o1相当且确认开源,网友:今年编程只剩Tab键

    DeepSeek版o1,有消息了。还未正式发布,已在代码基准测试LiveCodeBench霸榜前三,表现与OpenAIo1的中档推理设置相当。这样实时更新、确保公平性和可靠性的测试方法,获得了开发者社区的认可。

热文

  • 3 天
  • 7天