首页 > 业界 > 关键词  > Meta最新资讯  > 正文

Meta 发布多语言语音翻译模型 SeamlessM4T:可翻译多达 100 种语言、语音或文本

2023-08-23 08:41 · 稿源:站长之家

站长之家(ChinaZ.com) 8月23日消息:周二,Meta 宣布推出 SeamlessM4T,一种用于语音和文本翻译的多模态人工智能模型。作为一种能够处理文本和音频的神经网络,它可以执行文本到语音、语音到文本、语音到语音和文本到文本的翻译,支持「最多 100 种语言」,Meta 表示,它的目标是帮助说不同语言的人更有效地交流。

369889300_946056619819708_693331134612217694_n.jpg

图片来自Meta

继续 Meta 相对开放的人工智能方法,它正在以研究许可(CC BY-NC 4.0)的形式发布 SeamlessM4T,允许开发者在此基础上进行开发。他们还发布了 SeamlessAlign,Meta 称之为「迄今最大的开放式多模式翻译数据集,总共挖掘了 270,000 个小时的语音和文本对齐」。这将有可能启动其他研究人员训练未来翻译人工智能模型的过程。

在 Meta 的博客中宣传的 SeamlessM4T 的特性中,该公司表示该模型能够执行语音识别(将语音转换为文本)、语音到文本翻译(将口语音频翻译为不同语言的文本)、语音到语音翻译(提供语音,输出翻译后的语音)以及文本到文本翻译(类似于 Google 翻译的功能)和文本到语音翻译(提供文本,将其翻译并以另一种语言呈现出来)。每个文本翻译功能支持将近 100 种语言,语音输出功能支持大约 36 种输出语言。

在 SeamlessM4T 的公告中,Meta 提到了 Babel Fish, 一种虚构的鱼,来自道格拉斯·亚当斯经典的科幻小说系列《银河系漫游指南》,它可以立即翻译任何口头语言:

构建一个像银河系漫游指南中虚构的 Babel Fish 一样的通用语言翻译器是具有挑战性的,因为现有的语音到语音和语音到文本系统只覆盖了世界上语言的一小部分。但我们相信,我们今天宣布的工作在这一旅程中是向前迈出的重要一步。

它们是如何训练的?根据 Seamless4MT 研究报告,Meta 的研究人员「创建了一个多模式语料库,其中含有自动对齐的超过 470,000 个小时的语音翻译,称为 SeamlessAlign」(在前面已经提及)。然后,他们「使用人工标注和伪标注数据对这个语料库的一个子集进行了筛选,总计 406,000 个小时」

与往常一样,Meta 对其训练数据的来源有些含糊。文本数据来自「与 NLLB 中部署的相同数据集」(从维基百科、新闻来源、脚本演讲和其他来源中提取的句子组成,由专业人员翻译)。根据研究论文,SeamlessM4T 的语音数据来自「400 万小时的原始音频,来源于一个公开可用的网络数据库」,其中 100 万小时是英语。Meta 没有具体说明使用哪个存储库或音频剪辑的出处。

Meta 远非第一家提供机器学习翻译工具的人工智能公司。Google 翻译自 2006 年以来就使用机器学习技术,大型语言模型(如 GPT-4)以其在语言之间的翻译能力而闻名。但是,在音频处理方面,最近这项技术变得非常热门。在九月份,OpenAI 发布了自己的开源语音到文本翻译模型,名为 Whisper,它可以在音频中识别语音并将其翻译成文本。

SeamlessM4T 扩展了多语言翻译的趋势,并且 Meta 表示 SeamlessM4T 的「单一系统方法」——一个单一的人工智能模型而不是多个模型组合在一条链上(类似于 Meta 之前的一些音频处理技术)——减少了错误,增加了翻译的效率。

关于 SeamlessM4T 如何运作的更多技术细节可以在 Meta 的网站上获得,其代码和权重(实际训练的神经网络文件)可以在 Hugging Face 上找到

举报

  • 相关推荐
  • 大家在看
  • 抖音上线地方方言自动翻译功能 由多语言翻译模型等提供支持

    抖音宣布正式上线地方方言自动翻译功能。创作者可以使用该功能,“一键”将多种方言视频转化出普通话字幕,方便公众观看。本次上线的地方方言自动识别及翻译功能由火山引擎技术团队提供技术支持,采用了自研的自监督预训练模型和多语言翻译模型,实现了极少量标注数据条件下识别方言的能力,且训练效率提升一倍,有效有效提升了多语言翻译的性能,同时大幅降低了模型训练的资源消耗。

  • 微信iOS版升级,新增多语言翻译功能

    微信iOS版正式升级至8.0.42版本,虽然更新日志依旧简洁明了,仅提及“解决了一些已知问题”,但此次升级后,微信新增了多语言翻译功能,这一改变将为海外旅游、涉外工作等人群带来便利。在新版微信中,用户只需点击“我”-“设置”-“通用界面”,即可找到新增的翻译功能。这一功能的加入,无疑为用户提供了更多可能性和便利。

  • 微信iOS 8.0.42正式版发布 新增多语言翻译功能

    微信iOS版近日推出了8.0.42正式版更新,新版本中加入了一项实用的新功能:多语言翻译。在最新版本的微信中,点击“我”-“设置”-“通用”界面,就能看到新增的“翻译”功能。用户在微信聊天、朋友圈、网页及图片中使用翻译功能时,文字会被翻译成所选语言。

  • ElevenLabs推AI工具“AI Dubbing”,可将语音翻译成20多种语言

    美国初创公司ElevenLabs日前推出了一款名为“AIDubbing”的产品,该产品可以将任何语音内容翻译成20多种不同的语言。这一工具面向所有平台用户开放,被视为是改变语音配音领域的创新之举。AI配音工具的出现无疑为这个市场带来了更多可能性。

  • Meta发布Llama 2-Long模型 处理长文本计算量需求减少40%

    Meta最新发布的Llama2-Long模型引领着处理长文本的革命。这个模型不仅处理长文本输入在不显著增加计算需求的情况下,保持了卓越性能。它不仅改进了处理长文本的性能通过创新策略为该领域注入了新的活力。

  • AI初创公司Captions发布多语言视频翻译应用Lipdub

    AI视频编辑初创公司Captions发布了一款名为"Lipdub"的新应用,用于将视频片段翻译成28种语言。该应用支持多种语言,包括法语、印地语、西班牙语、意大利语、葡萄牙语、日语等,甚至可以将视频翻译成德克萨斯俚语、Z世代用语、海盗语和婴儿语。AI配音的初创公司引起了众多投资者的兴趣,像英国的Papercup和以色列的Deepdub等初创公司已筹集了数百万美元。

  • 微信iOS8.0.42正式版更新:新增多语言翻译、更改部分功能

    微信iOS版本于9月19日发布了8.0.42正式版更新,尽管官方并未公布具体更新内容,但据IT之家和用户的测试,该版本带来了多项改进。在微信聊天、朋友圈、网页及图片中使用翻译功能时,文字就会被翻译为所选语言,支持简体中文、繁体中文、英语、韩语、日语等多种语言,用户可以自行体验。此外,据用户@妇产科主任的发现,微信iOS版8.0.42正式版还有以下三项细节改进: 1、长按翻译结果,新增了一个“更换语言”按钮; 2、点击微信-我-钱包,新增了一个“经营账户”的入口,专为商家推出的收款账户; 3、点击小程序-右上角小人图标,新增了“我的评价”入口,这里可以看到对所有小程序的评价。

  • Meta悄然发布Llama 2 Long AI模型

    Meta最近发布了Llama2LongAI模型,该模型在一些任务上超越了GPT-3.5Turbo和Claude2。通过改进训练方法和编码技术,Meta的研究人员提高了这个AI模型的性能,使其能够更好地处理长文本和复杂任务。强调了合作的重要性,指出不是每个企业都拥有高级的数据工程和数据科学技能,因此需要与具有相关技术和深刻了解整个领域的合作伙伴合作来解决这一问题。

  • AltDiffusion:提供多语言文本到图像的解决方案

    AltDiffusion是一种创新的多语言文本到图像的扩散模型,旨在解决现有文本到图像模型仅支持有限语言的问题。它支持18种不同语言,通过多种巧妙的训练技巧,如知识蒸馏和与已经预训练的仅支持英语的模型的结合,以及概念对齐和质量提升等步骤,实现了多语言文本到图像的转化。这一研究为多语言人工智能领域的进一步研究和应用提供了有力支持。

  • Meta研究人员提出轻量级微调方法RA-DIT 以增强语言模型知识检索能力

    Meta的研究人员提出了一种名为检索增强双指令调优的新型人工智能方法,用于提升语言模型的知识检索能力。该方法试图解决大型语言模型在捕获较为冷门知识时的局限性以及大规模预训练的高计算成本问题。该研究证明了轻量级指令调优对检索增强语言模型的有效性,特别是在涉及大规模外部知识源的场景中。

  • Tele-FLM:52B参数的开源多语言大型语言模型

    Tele-FLM(亦称FLM-2)是一个52亿参数的开源多语言大型语言模型,具有稳定高效的预训练范式和增强的事实判断能力。基于解码器仅变换器架构,已在大约2T的token上进行训练。Tele-FLM在同等规模上展现出优越的性能,有时甚至超越了更大的模型。除了分享模型权重外,我们还提供了核心设计、工程实践和训练细节,期待它们对学术界和工业界社区都有所裨益。

  • ChatFLM:智能聊天助手,提供高效交流体验。

    ChatFLM是一款基于FLM技术的智能聊天模型,旨在为用户提供流畅且智能的对话体验。该模型通过先进的自然语言处理技术,能够理解用户意图并生成合适的回复,适用于多种交流场景。

  • JASCO:音乐生成模型,结合文本和音频条件进行控制。

    JASCO是一个结合了符号和基于音频的条件的文本到音乐生成模型,它能够根据全局文本描述和细粒度的局部控制生成高质量的音乐样本。JASCO基于流匹配建模范式和一种新颖的条件方法,允许音乐生成同时受到局部(例如和弦)和全局(文本描述)的控制。通过信息瓶颈层和时间模糊来提取与特定控制相关的信息,允许在同一个文本到音乐模型中结合符号和基于音频的条件。

  • prism-alignment:探索大型语言模型的偏好和价值观对齐。

    prism-alignment 是一个由 HannahRoseKirk 创建的数据集,专注于研究大型语言模型(LLMs)的偏好和价值观对齐问题。数据集通过调查问卷和与语言模型的多轮对话,收集了来自不同国家和文化背景的参与者对模型回答的评分和反馈。这些数据对于理解和改进人工智能的价值观对齐至关重要。

  • LoRA Studio:探索多样化的AI模型。

    LoRA Studio 是一个在线平台,提供多种AI模型供用户探索和使用。这些模型涵盖了从动漫风格到抽象艺术的不同领域,可以用于生成艺术作品、设计元素等。平台的主要优点包括模型多样性、用户友好的界面以及创意的无限可能性。

  • Unstract:无代码LLM平台,用于结构化非结构化文档。

    Unstract是一个无代码的LLM(大型语言模型)平台,它允许用户通过简单的无代码方法启动APIs和ETL管道来处理非结构化文档。它支持从多种云文件/对象存储系统中读取复杂文档,并将结构化数据写入流行的数据仓库和数据库。Unstract利用大型语言模型的能力,超越了传统的RPA(机器人流程自动化),实现了机器到机器的自动化。

  • Woy AI:2024年顶级AI工具目录

    Woy.ai是一个AI工具目录,提供2024年最新的AI工具列表。它为技术爱好者、开发者和企业提供了一个平台,以发现和利用人工智能的最新进展。

  • Sparkpage:AI驱动的新型网页,重构信息互动。

    Sparkpage 是由 Genspark 推出的革命性网页形式,致力于通过 AI 技术改善用户在线获取信息的方式。它通过内容蒸馏和整合,提供无商业影响和编辑偏见的丰富、可靠信息。内置的 AI 助手能够动态响应用户查询,提供个性化的见解和信息。

  • Helix Free User Persona Generator:生成用户画像,助力市场洞察

    Helix是一个专注于用户画像生成的在线工具,能够帮助企业或个人快速理解目标受众的特征和需求。它通过分析用户数据,生成详细的用户画像,帮助产品或服务更好地定位市场和用户。

  • Promoted:提升市场搜索、推荐和原生广告的排名

    Promoted是一个专注于市场搜索、推荐和原生广告排名的解决方案,通过先进的机器学习技术和大型语言模型搜索相关性AI技术,显著提升转化率和广告质量。它为市场平台提供了统一的搜索、推荐和广告服务,帮助企业实现更好的匹配和更高的收益。

  • Index-1.9B-Pure:轻量级大语言模型,专注于文本生成。

    Index-1.9B-Pure是Index系列模型中的轻量版本,专为文本生成而设计。它在2.8T的中英文语料上进行了预训练,与同等级模型相比,在多个评测基准上表现领先。该模型特别过滤了所有指令相关数据,以验证指令对benchmark的影响,适用于需要高质量文本生成的领域。

  • Index-1.9B-Character:19亿参数规模的角色扮演模型,支持few shots角色定制。

    Index-1.9B-Character是由Index团队自主研发的大型语言模型,专注于角色扮演领域,拥有19亿参数规模。该模型支持用户通过上传角色对话语料实现快速的角色定制,具备较高的角色一致性、对话能力和角色扮演吸引力。在CharacterEval权威benchmark评估中,整体均分排名第九,表现优于同量级模型。

  • Index-1.9B-Chat:基于19亿参数的对话生成模型

    Index-1.9B-Chat是一个基于19亿参数的对话生成模型,它通过SFT和DPO对齐技术,结合RAG实现fewshots角色扮演定制,具有较高的对话趣味性和定制性。该模型在2.8T中英文为主的语料上预训练,并且在多个评测基准上表现领先。

  • Llama3-70B-SteerLM-RM:70亿参数的多方面奖励模型

    Llama3-70B-SteerLM-RM是一个70亿参数的语言模型,用作属性预测模型,一个多方面的奖励模型,它在多个方面对模型响应进行评分,而不是传统奖励模型中的单一分数。该模型使用HelpSteer2数据集训练,并通过NVIDIA NeMo-Aligner进行训练,这是一个可扩展的工具包,用于高效和高效的模型对齐。

  • ComfyUI.org:开源AI工具,推动AI民主化。

    ComfyUI是一个开源AI模型,致力于推动AI工具的民主化和开源化。它由一个团队创建和维护,旨在为AI社区提供易于使用、安全和可靠的工具。ComfyUI支持通过各种工具,如节点管理器、节点注册表、命令行界面、自动化测试和公共文档来支持其生态系统。团队相信开源模型将在长期内胜过封闭模型,并致力于通过社区驱动的方式推动AI工具的发展。

  • Hedra:创造实验室,打造下一代人类叙事产品

    Hedra是一个创新的创造实验室,专注于将基础模型转化为产品,以驱动下一代的人类叙事技术。它提供了一个平台,让用户能够创造具有表达力和可控性的人物角色视频,并构建能够捕捉想象力的虚拟世界。Hedra的使命是通过提供完整的创意控制,让用户想象世界、角色和故事。

  • L4GM:4D重建模型,快速生成动画对象

    L4GM是一个4D大型重建模型,能够从单视图视频输入中快速生成动画对象。它采用了一种新颖的数据集,包含多视图视频,这些视频展示了Objaverse中渲染的动画对象。该数据集包含44K种不同的对象和110K个动画,从48个视角渲染,生成了12M个视频,总共包含300M帧。L4GM基于预训练的3D大型重建模型LGM构建,该模型能够从多视图图像输入中输出3D高斯椭球。L4GM输出每帧的3D高斯Splatting表示,然后将其上采样到更高的帧率以实现时间平滑。此外,L4GM还添加了时间自注意力层,以帮助学习时间上的一致性,并使用每个时间步的多视图渲染损失来训练模型。

  • Grazias:自动化收集和分享客户反馈。

    Grazias是一个免费的在线工具,用于自动化收集客户的推荐信,并集中管理这些推荐信,同时可以方便地在任何地方分享。它提供了一系列功能,包括简单的表单收集、自定义表单、自动跟进邮件以及详细的分析和图表,帮助企业更好地管理和利用客户反馈。

  • Olvy AI:客户反馈的智能管理助手

    Olvy AI是一个先进的客户反馈管理平台,它通过AI技术整合来自不同渠道的客户声音,包括调查、访谈、评论、支持票据和销售电话等,帮助企业快速获取洞察力。它通过自动化和智能化的方式,将客户反馈转化为可操作的见解,帮助企业做出更明智、更快速的决策。Olvy AI的主要优点包括提高团队生产力、节省时间、提供精准的数据驱动见解,以及保持与用户需求的紧密联系。

  • Aware:智能孕期社区应用

    Aware.ai Pregnancy App是一个为孕妇设计的智能社区应用,通过AI技术为孕妇提供个性化的社区推荐和资源。它通过匹配孕妇的背景和孕期目标,帮助她们找到合适的社区和资源,分享孕期故事和经验,并通过一对一连接获得其他孕妇的见解和建议。

今日大家都在搜的词: