首页 > 传媒 > 关键词  > 器人最新资讯  > 正文

腾讯云小微技术登顶榜单XTREME基准,跨语言技术迁移开发助力企业出海

2022-06-14 09:50 · 稿源: 站长之家用户

近日,腾讯云小微提出的多语言预训练模型“神农MShenNonG”以平均分85分的成绩登顶XTREME榜单。与此同时,该模型仅包含5亿级别的小参数量,也一举刷新业界纪录。

据了解,该榜单是目前最受国内外行业公司认可的多语言评测榜单,研究人员以多语言预训练模型在此榜单的表现作为其跨语言迁移能力的评价标准。

目前,全球有超过6900种语言,其中大多数语种都没有足够的数据支撑研究者将其单独训练成成熟模型。腾讯云小微深耕知识挖掘、语义理解技术以及预训练技术,“神农MShenNonG”此次登顶XTREME榜单,代表了其从单语言到多语言理解能力的一个显著扩展,将跨语言迁移开发由市场平均的月级降低至10天。同时,“神农”系列的预训练模型已应用于云小微全系列产品矩阵,可显著提升AI语音助手、智能客服机器人数智人等产品的多项技术指标,助力出海企业快速落地本地化服务。

刷新行业纪录,跨语言迁移开发周期缩短至10天

凭借对自然语言应用程序等领域发展研究的积极作用,XTREME榜单备受业界认可。

由于大多数的NLP预训练模型主要为中文、英文等高资源语种,低资源小语种的研究并未得到足够重视。2020年,来自 CMU、谷歌研究院和 DeepMind 的科学家们提出了覆盖四十种语言、横跨了12个语系的大规模多语言多任务基准 XTREME,其中包含了9项需要不同句法或语义层面进行推理的任务,并可以为语句文本分类、结构预测、语句检索和跨语言问答等自然语言处理任务提供有效支持。

此次登顶XTREME榜单,主要是由于“神农MShenNonG”在以下三个不同维度做了创新性的尝试。

首先,在数据层面,预训练模型的训练数据主要由两种形式的数据构成:单语种句子和双语平行句对。此前的模型处理方法是,对于单语种句子,单纯地将单语种信息输入模型,并以MLM作为训练目标,非常依赖相似语系之间“共享词”的预测来建模各语言间的语义对齐关系;对于平行句对,又依赖平行语料的规模和组合,模型对其对齐关系的建模存在一定缺陷。为缓解以上问题,腾讯云小微研究团队提出了基于混合编码的数据构造方式,分别利用双语对齐词典和句子检索工具,构造大量的“多语言混合”训练数据。

其次,在模型层面,研究团队提出了一种可插拔的、基于多尺度的多语言信息融合模块,分别从词级别和句子级别多个尺度融入多语言信息,期望在训练过程中,加强所有语种的词向量的更新和对齐,解决多语言模型对低资源语种、低频次词汇建模较弱的问题。

第三,在训练方式上,研究团队分别通过语种层面和语义层面引入对比学习策略,使得相同语义的表示相互拉近,不同语义的表示相互远离,进一步强化多语言预训练模型对于多语言的语义建模能力和语义匹配能力。

值得注意的是,研究团队重视多尺度的多语言的一致性建模,以强化预训练模型的跨语言迁移能力,并将跨语言迁移开发由市场平均的月级降低至周级,同时,相较市场平均1个月以上的模型迭代周期,“神农MShenNonG”仅需10天。

多次登顶权威榜单 神农以技术优势探索出海场景

“神农MShenNonG”登顶XTREME榜单,依托于腾讯云小微团队技术研发和行业知识的长期积累。此前,腾讯云小微的中文预训练模型ShenNonG就以十亿级参数量一举登顶CLUE总排行榜、1.1分类任务、阅读理解任务和命名实体任务四个榜单,刷新行业纪录。

专注于语义理解技术以及预训练技术的研发,此次登顶XTREME榜单代表了腾讯云小微从单语言到多语言理解相关技术的一个扩展。目前,“神农”系列的预训练模型已应用于全系列产品矩阵,可显著提升AI语音助手、智能客服机器人、数智人等产品的多项技术指标。

随着开发的不断成熟,优势产品向海外拓展成为不少国内企业的选择。但产品出海通常要面临适应新语种、业务本地化的挑战。过往,以机器翻译的方式将单语种迁移到多语言场景,不仅费时费力,效果也差强人意。相对于传统的机器翻译模式,腾讯云小微“神农MShenNonG”预训练模型有着低成本、低门槛的优势,以轻量参数为多行业、小语种提供跨语言迁移服务,助力企业降本增效,落地出海业务。

未来,腾讯云小微团队还将持续深耕知识挖掘和深度学习技术,探索更多技术落地场景,以科技助力各行业的企业更好地服务用户,为社会创造更多价值。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • The StoryGraph:根据您的心情和偏好追踪和选择书籍。

    The StoryGraph 是一个帮助用户跟踪阅读进度并选择下一本书的平台。用户可以免费使用大部分功能,也提供付费的 Plus 计划获得更加个性化的体验。由 Nadia Odunayo 和 Rob Frelow 创办,始于 Nadia 的个人项目,致力于帮助用户管理阅读列表。用户可以在 App Store 和 Play Store 下载 The StoryGraph 的移动应用,并从 Goodreads 导入阅读数据。

  • Happy Scribe:音频转文字及视频字幕服务

    Happy Scribe 提供自动和人工转录服务,将音频转换为文本,准确率达到 85-99%,支持 120 多种语言和 45 多种格式。定位于为用户提供高效的音视频转录及字幕服务。

  • Product Hunt:发现科技领域最佳新品AI产品

    Product Hunt 是每天最佳新品的精选。发现最新的移动应用程序、网站和技术产品,人人都在谈论。

  • JanitorAI:NSFW虚构聊天机器人角色

    JanitorAI 是一个集合了各种有趣的聊天机器人的平台,用户可以与各种不同性格和故事背景的虚拟角色进行互动。平台定位于提供娱乐和交流的虚拟角色体验。用户可以选择不同的角色与之互动,体验多样化的聊天和故事情节。平台允许用户创建具有不同个性的NSFW虚构聊天机器人角色。该平台由大型语言模型驱动,包括OpenAI的GPT模型。

  • ComfyUI-SuperBeasts:用于增强图像动态范围和视觉吸引力的图像处理应用程序

    ComfyUI-SuperBeasts是一款用于增强图像动态范围和视觉吸引力的图像处理应用程序。它提供了一组可调整的参数,用于根据用户偏好微调HDR效果。该应用程序具有以下特点:调整阴影、高光和整体HDR效果的强度;应用伽马校正以控制整体亮度和对比度;增强对比度和色彩饱和度,使结果更加生动;通过在LAB颜色空间处理图像来保留颜色准确性;利用基于亮度的掩码进行针对性调整;将调整后的亮度与原始亮度进行混合,以实现平衡效果。

  • Liner:AI Copilot, 提升工作效率

    Liner 是由 GPT-4 提供支持,旨在提高您的生产力。通过摘要文章、生成代码和撰写电子邮件,优化工作流程。

  • Adobe GenStudio:跨渠道活动工具集,提升营销效率。

    Adobe GenStudio是一个基于生成式人工智能构建的跨渠道活动工具集,旨在帮助营销团队规划、制作、管理、发布并评估高品质品牌内容。核心功能包括创作、内容中心、活动管理、发布和数据洞察。产品定位于提升营销人员工作效率及品牌形象一致性。

  • Llanai:通过WhatsApp与AI进行聊天和语音学习

    Llanai是一个通过与AI进行聊天和语音交流来帮助学习语言的产品。它根据您的学习目标和兴趣创建个性化的学习计划,并提供即时反馈和纠正。您可以随时随地通过WhatsApp进行学习,提高口语和听力技能。

  • Ramban.AI:一站式AI平台,助力内容创作、多媒体制作和智能协作

    Ramban AI是一款集成了先进的人工智能能力的全能平台,可用于内容创作、多媒体制作和智能协作。它提供了AI文章生成器、智能编辑器、AI重写工具和抄袭检测器等AI驱动的内容创作工具,让您能够轻松高效地创建高质量、吸引人的内容。AI视频制作、AI图像生成和AI语音合成等功能可提升您的多媒体制作能力。此外,AI聊天、AI视觉、AI文件聊天和AI网页聊天等工具可实现实时团队协作和高效沟通。Ramban AI还提供AI代码助手和品牌声音功能,以简化编码过程并在所有渠道保持一致的品牌声音。用户友好的界面和易用性使所有技术背景的人都能轻松利用AI的力量。解锁无限可能,实现卓越创造力,与Ramban AI一起保持领先。

  • Knowt Ai:超过 1 百万学生信赖的 Quizlet 替代品

    Knowt 是一款免费的学习工具,受到超过 1 百万学生的信赖。用户可以通过导入 Quizlet 内容,使用无限的学习模式、匹配游戏等功能来学习。除了学生,教师也可以在 Knowt 上上传讲座,创建闪卡。定价策略为免费使用。

  • Ask AI - Chat Bot Assistant:AI 聊天机器人助手,智能问答

    Ask AI 是一款 AI 聊天机器人助手,能够回答用户提出的各种问题,涵盖健康、科技、SEO、语言学习、食谱、财务、内容管理、旅行、家庭、产品管理、教育等领域。用户可以通过 Ask AI 快速获取精准详细的答案,享受无广告的交流体验,与之在 Whatsapp 中交流,以及通过付费会员获得更多高级功能和独家内容。产品定位为为用户提供方便快捷的 AI 问答服务。

  • SoulFun:在每个 AI 聊天中找到乐趣

    SoulFun 是一个 AI 聊天平台,用户可以与各种有趣的虚拟角色进行愉快的对话。不同于普通的 AI 聊天机器人,SoulFun 让您在每次聊天中找到乐趣。产品定位于提供有趣和愉快的虚拟交流体验。

  • Study Fetch:AI 助手辅助学习

    Study Fetch 可以将您的课程材料转换成互动学习集,提供 AI 助手辅助学习,创建单词卡、生成笔记、进行练习测试等。通过上传课程资料,可与 AI 助手互动,定制学习体验。

  • Course Hero:拥有学习时间

    通过访问品质的众包学习资料,标记到世界各地的大学课程,并在需要时从我们的导师处获取作业帮助。

  • 鱼群数字人系统v3:通过AI技术实现智能虚拟主播自动直播互动

    该系统通过AI技术实现虚拟数字人自动化智能直播互动,拥有全天候在线、支持OBS、支持跨平台直播等优势。系统支持私有化部署、无限克隆、无限OEM贴牌、无限账号等,可满足企业自主二次开发需求。适用于直播、虚拟主播、虚拟学习助手等场景。

  • DIKTATORIAL Suite:Online AI音频母带处理工具与聊天

    DIKTATORIAL Suite是一款在线AI音频母带处理工具,通过聊天交互方式与虚拟声音工程师对话。它可以提供清晰的音频效果,支持wav和mp3等多种音频格式。用户可以描述他们希望达到的音频效果,调整音频参数以满足个人喜好。DIKTATORIAL Suite的优势包括即时优化,适用于流媒体平台,安全可靠等。定价根据不同的套餐选项而定。DIKTATORIAL Suite适用于音频专业人员、音乐家、母带工程师以及初学者。

  • Haye AI:macOS 上的 In-context AI 写作助手

    Haye AI 是一款在 macOS 上的 In-context AI 助手,可以帮助用户提升编辑、阅读和创作能力。用户可以通过快捷键调用系统级工具栏,在任何软件中启动,实现轻松的 AI 功能体验。无需担心错别字、语法错误或文案不美,Haye AI 让写作变得更加高效。价格分为免费使用额度和付费高级版,提供更多 AI 功能和特性。

  • 语落:结合了AI素材查询和内容改写的论文写作工具

    语落是一款结合了 AI 素材查询和内容改写的工具,可以让论文写作更加轻松高效。用户可以使用关键词查询素材,并进行内容修改降重,节省时间提高效率。产品定位于提升论文写作效率的工具,具有自动保存、本地保存、导出等功能。语落现在在 Windows 平台上免费体验。

  • Background:浏览我们令人惊叹的AI生成背景,以6K高清下载,并获取用于创建它们的Midjourney提示

    Background是一个提供AI生成背景的平台。用户可以浏览并下载令人惊叹的AI生成背景,这些背景以6K高清提供。每个背景都附带一个Midjourney提示,用户可以了解背景生成的过程。Background提供多个不同的背景集合,涵盖金属质感、霓虹色彩、抽象光影等多种风格。用户可以根据自己的设计项目和需求,选择合适的背景。平台定期更新背景,并提供免费礼品。定价信息请查看官方网站。

  • ListenRobo:转录音视频为文本或字幕

    ListenRobo是一个语音转文本的工具,能够将英语音频转换为文本,提供免费下载不带水印的txt、srt和vtt格式字幕。它快速准确,支持92种语言,可以生成英语翻译,还提供文本摘要和智能翻译功能。

今日大家都在搜的词: