首页 > 传媒 > 关键词  > 腾讯云小微最新资讯  > 正文

登顶CLUE榜单,腾讯云小微与腾讯AI Lab联合团队提出基于知识的中文预训练模型

2021-10-18 16:14 · 稿源:站长之家用户

2018 年以来,以BERT、GPT等为代表的大规模预训练模型,带来了人工智能领域新的突破,由于其强大的通用性和卓越的迁移能力,掀起了预训练模型往大规模参数化发展的浪潮。其中微软、谷歌、Facebook、NVIDIA等诸多公司在预训练算法上持续大量投入。国内如百度、华为、阿里等公司也相继投入到大规模预训练模型算法的研究中。现阶段,在中文自然语言处理方向上,预训练也如雨后春笋一样涌现。现有算法主要依赖纯文本学习,缺少知识指导学习,模型能力存在局限。

2021 年 10 月 13 日,腾讯云小微与腾讯AI Lab联合团队提出了基于知识的中文预训练模型——“神农”,该模型仅包含十亿级参数量,并一举登顶CLUE总排行榜、1. 1 分类任务、阅读理解任务和命名实体任务四个榜单,刷新业界记录。

10 月 13 日,“神农”刷新CLUE分类榜单纪录;HUMAN 为人类标注成绩,非模型效果,不参与排名。

同时,“神农”登顶CLUE阅读理解、NER榜单,刷新业界记录。

作为中文语言理解领域最具权威性的测评基准之一,CLUE涵盖文本相似度、分类、自然语言推理、阅读理解、NER等众多语义分析和理解类子任务。近段时间,各大公司纷纷用CLUE作为预训练算法能力的验证和衡量标准。此次登顶CLUE榜单,不仅代表了云小微与腾讯AI Lab联合团队在中文预训练研究领域达到业内领先水平,并且推动中文预训练模型在理解和推理方面提升了一个新高度。

联合团队致力于将知识融入预训练模型,进而充分发挥已有参数下的模型潜力。模型结构方面,“神农”基于 Transformer 架构,仅包含十亿级的参数量。从数据量来看,“神农”以数百 GB 级的平文本做基石,涵盖百科、论坛博客、新闻、财经等众多领域的高质量文本。相对于业界其他中文预训练模型,“神农”在以下三个方面获得了突破性进展:

第一,“神农”从两个角度对知识进行建模,分别是“通用型推理知识”和“任务型知识”。通用型知识指的是现有知识,比如词法、句法、图谱等,这类知识的特点是通用性强,覆盖度广。虽然能整体提高模型的能力,但是在特定场景中往往不容易发挥作用。而任务型知识旨在挖掘场景下特有的知识,并通过将其泛化来提升预训练模型的能力。二者可谓相辅相成。

第二,联合团队将汉语中典型的篇章推理知识作为通用知识融入预训练过程中,如因果、对比、递进、转折关系等。中文是表达极其丰富的语言,存在大量指示性的虚词。这些虚词在中文的语义理解中起着至关重要的作用。比如:

这段话的语义可谓一波三折,而引起语义起伏变化的正是这些虚词。通过引入这类知识可以强化模型对中文的理解能力。

第三,“神农”提出基于对比学习的任务型知识挖掘和融入算法。通过定义知识模板,该算法可以为指定任务“定制知识”,并将其融入到训练过程中。另外,“神农”将挖掘出来的知识在大规模单语文本中进行泛化,大大提高了知识的表达能力。

“神农”正是通过充分利用这两类知识,进一步强化了中文预训练模型的能力,在包含文本分类、阅读理解等多类任务上表现出色。

一直以来,腾讯云小微团队和腾讯AI Lab团队持续深耕知识挖掘、语义理解技术以及预训练技术。云小微方面,依托自研的知识挖掘算法和深度学习技术,基于平台对行业知识的长期积累,能快速搭建多个领域的知识结构,有效地从非结构化文件中抽取关键信息,为行业提供全流程知识构建服务。在此加持下,团队通过将行业知识与预训练技术相结合,可以更好地服务应用,为各行各业输出完整的AI解决方案,不断渗透智慧生活各个场景。目前已在智能网联汽车、智慧文旅、智慧教育等多行业领域落地应用,服务广泛的用户群体。腾讯AI Lab始终强调研究与应用并重发展,其研究覆盖机器学习、计算机视觉、语音识别及自然语言处理等四大核心方向,其中自然语言处理方向强调赋予计算机系统以自然语言文本理解与外界交互的能力,并不断探索最前沿的文本理解和生成技术。实验室立足未来,开放合作,致力于不断提升AI的认知、决策与创造力,向“MakeAIEverywhere”的愿景迈步。

本次两个团队强强联合,深入探索知识与预训练的融合技术,提出了全新的基于知识的预训练方法,在这一领域又迈出了坚实的一步。

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • 交互更智能 形象更真实 服务有温度,腾讯云小微五款全新数智人产品面世

    随着交互智能的发展,数智人正在从技术创新走向产业应用。11 月4 日,2021 腾讯数字生态大会云智能专场上,腾讯云小微发布基于新一代多模态人机交互技术的全新数智人产品矩阵,全新数智人产品集中亮相,拥有文旅导览、金融客服、多语种主播、手语主播等不同职业身份和技能,可提供定制化角色服务。全新亮相的“数智人”也参与到了本届腾讯数字生态大会多个专场的主持工作中,为观众带来了他们的“职业首秀”。“数智人正在走进我们

  • 腾讯官方辟谣:腾讯云数据库泄露系谣言

    日前,网上有传言称腾讯云数据库泄露,部分国企事业单位已经开始从微信撤退。对此,鹅厂黑板报微信公众号发公告辟谣,腾讯云数据库泄露系谣言。

  • 腾讯云启创新生态服务升级,为To B中小初创企业提供系统扶持

    11 月3- 4 日, 2021 腾讯数字生态大会开启,公布了腾讯产业互联网取得的一系列进展。截至目前,依托腾讯云启创新生态,腾讯已孵化 500 多家企业服务领域的中小企业,与创新伙伴共创 200 多个联合产品方案,共同服务超过 10 万个客户。腾讯高级执行副总裁、云与智慧产业事业群CEO汤道生表示,未来腾讯将立足优势能力,打造用户、技术、安全和生态四大引擎。其中,在生态引擎方面,持续推动产业互联网的开放战略,未来三年投入超过

  • 腾讯云在南美洲首个数据中心在巴西正式启动

    腾讯云今天在微信公众号宣布,腾讯云首个南美数据中心在巴西正式启动,至此,腾讯云在全球范围内运营的可用区达到 68 个,共覆盖 27 个地理区域。

  • 腾讯云发布腾讯智维全新产品体系,助力数据中心自动化运营管理升级

    11 月 24 日,在CDCC第九届数据中心标准峰会上,腾讯云发布全新升级的腾讯智维数据中心自动化运营管理产品体系。全面升级的腾讯智维将能够面向不同阶段和不同规模的数据中心,按需提供标准版、开源定制版以及集群管理版等不同规格的自动化运营管理能力,能够帮助客户根据各自业务场景快速实现数据中心自动化运营管理升级。同时,腾讯智维还结合数据中心发展趋势,全面升级了面向数据中心动力环境监测场景的腾讯智维动环平台,面向?

  • 腾讯云智能终端行业隆重推出“+AIoT+内容服务”多场景解决方案

    11月4日,在腾讯数字生态大会智能终端分会场上,腾讯云与深圳市欧瑞博科技有限公司举行战略合作签约仪式。在本次战略合作中,双方本着“共同发展,合作共赢”的原则,就长期战略合作事宜达成协议,成立全屋智能联合实验室,推动双方产品在全屋智能相关行业领域的项目落地。 随着5G、人工智能、边缘计算等技术的成熟和普及,全球物联网连接超过百亿,行业规模持续增长,智能家居从智能单品到原生全宅智能新时代。在这一?

  • 腾讯云与欧瑞博签署战略合作协议,强强联手布局智能家居领域

    11月4日,在腾讯数字生态大会智能终端分会场上,腾讯云与深圳市欧瑞博科技有限公司举行战略合作签约仪式。在本次战略合作中,双方本着“共同发展,合作共赢”的原则,就长期战略合作事宜达成协议,成立全屋智能联合实验室,推动双方产品在全屋智能相关行业领域的项目落地。 随着5G、人工智能、边缘计算等技术的成熟和普及,全球物联网连接超过百亿,行业规模持续增长,智能家居从智能单品到原生全宅智能新时代。在这一?

  • 在OBS Studio强烈反对后 Streamlabs承诺在名称中删除“OBS”

    遭到流媒体和开源直播平台 OBS Studio 强烈反对之后,Streamlabs 已承诺从其直播软件 Streamlabs OBS 的名称中删除“OBS”。OBS Studio 表示,它之所以要求 Streamlabs 不要使用这个名字,是因为“OBS”代表着“开放直播软件”(Open Broadcaster Software),是该平台独有的。这项争议始于另一家直播应用程序制造商 Lightstream 发布的推文,在推文中写道:“嘿,我可以抄你的作业吗?”,暗示 Streamlabs 复制了 Lightstream。Li

  • Xbox Design Lab部分定制选项回归 并引入一些新选项和新设计

    今年早些时候伴随着 Xbox Series X 游戏主机的发布,Xbox Design Lab 取消了部分定制选项。现在,这些选项重新回归,此外还引入了一些全新的选项和设计,其灵感来自于四款热门大型游戏。● 橡胶模块Xbox Design Lab 今天回归的选项是允许用户定制手柄的橡胶模块,以及为特定的手柄组件配备金属表面。未来的买家可以选择为他们的手柄在游戏手柄的侧面和背面配备橡胶,尽管这些手柄只有一种颜色(黑色)。● 金属表面D-pad和扳机也可

  • Stratifyd数据分析平台加盟腾讯云市场,赋能品牌消费洞察

    2021 年11 月,Stratifyd AI数据分析平台正式入驻腾讯云市场,成为腾讯云SaaS生态圈的重要一员。依托腾讯云平台的技术支持和市场资源,Stratifyd将充分发挥数据价值的挖掘能力,赋能更多品牌实现数据驱动的决策运营。 1.【直接访问】Stratifyd腾讯云市场 2.【搜索访问】搜索腾讯云—进入云市场—搜索【Stratifyd】即可 Stratifyd携手腾讯云,打造消费洞察新生态 随着数字经济的发展,传统企业正经历从线下到线上数字化转型的新挑?

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天