首页 > 传媒 > 关键词 > 阿里云最新资讯 > 正文

阿里云12年数据智能工程 突破世界级超大规模中文AI模型

2021-05-25 17:22 · 稿源:站长之家用户

当今世界,人工智能无疑是最具想象力和吸引力的科技之一。从电影《人工智能》到《终结者》,从图灵测试到无人驾驶汽车,人们在丰富想象和具体实践中,不断拉近最终实现通用人工智能的距离。最新的消息是,通往通用人工智能的挑战之一,是超大规模参数的AI模型训练和推理。模型规模在一定程度上代表知识结构的复杂性,也就是说,参数越多,对知识的理解越深刻,就越能打开通往多种综合认知能力的通用人工智能。谷歌、微软等人工智能巨头纷纷挑战千亿及以上参数的超大规模AI模型。

在挑战世界级计算工程方面,阿里巴巴从来不会落后于国际顶级科技公司。日前,阿里巴巴与清华大学联合发布业界最大的中文多模态预训练AI模型M6,该模型参数规模超千亿,具备超越传统AI的文本、图像理解和生成能力。M6 的全称为“Multi-Modality to Multi-Modality Multitask Mega-transformer”,翻译过来的大意是“从多种模态到多模态、多任务、超级Transformer算法”。Transformer是谷歌于 2017 年提出的一种AI模型,目前大有一统江湖趋势,绝大多数的预训练模型都在采用此架构。M6 将Transformer推进到了千亿参数超大规模多模态,并预训练了目前最大规模中文文本和图片数据集,这也是多模态预训练领域史上最大的模型。

M6 的突破,源自达摩院智能计算实验室底层技术创新以及超大规模的阿里云 12 年来在大数据和AI工程化的努力。据达摩院智能计算实验室资深算法专家杨红霞介绍,“基于稀疏激活(MoE)架构的千亿参数模型M6 是目前业界最大的中文预训练模型。M6 基于阿里云PAI团队自研的Whale分布式框架,将参数规模扩展到千亿的同时,利用大规模数据并行和模型并行,在 256 张A100 卡上,1- 2 天即可完成上亿数据的预训练。同时M6 是一种多模态模型,可以同时处理网页、图像等多种数据,正在扩展到音频、视频等。为了让预训练模型更加普及,我们将更加聚焦在GreenAI上,即在有限GPU资源情况下,训练超大规模模型。未来除了让M6 参数规模进一步飞跃,我们还将让M6 在效率、下游任务等方面得到突破提升。”

(阿里巴巴副总裁、阿里云智能计算平台负责人贾扬清)

谷歌、微软、阿里、华为等公司都在挑战超大规模AI模型,这就像一场AI领域的“世界杯”,阿里作为挑战中文超大规模AI模型的科技公司之一,阿里巴巴副总裁、阿里云智能计算平台负责人贾扬清表示,阿里能完成M6 挑战,简单一句话就是:我们能!

M6:超级中文AI工程

为什么说M6 是超级中文AI工程呢?

首先,目前的AI模型主要是针对单一任务,比如图片识别、文本识别、语音识别等,这是单一“模态”。而M6 为多任务处理,完成文本图片联合学习这一跨模态的计算任务。也就是说,一个模型可以处理文本识别和理解、图片识别和理解等多种任务,更能实现跨文本和图片的联动识别、理解与生成,这个过程在很大程度上将AI模型又往通用AI方向推进了一步。

其次,M6 提供了1.9TB图片和292GB文本,这是目前已知的最大中文图片和文本数据集。该中文数据集收集了百科全书、在线问答、论坛讨论、产品说明等海量中文网页,并通过复杂的数据清洗过程将之转换为高质量数据资产。M6 提供了 100 亿参数与 1000 亿参数两个版本,均为超大规模参数。

第三,M6 不仅是一个前沿的技术探索项目,更通过阿里云的工程化方式进行落地。M6 这样一个超大规模参数AI模型,无法在除了公有云以外的其它计算设备上以更经济的方式进行训练。例如,根据公开的市场数据,NVIDIA最新机器DGX2 约为 20 万美元一台,一台机器里有 8 个GPU,用 64 台的机器搭建一个专门用来做大规模训练的集群,成本估算约一亿人民币。而这仅为实验之用搭建的计算集群,搭建之前并不知道模型训练能否成功、成功之后是否有更大的商用价值。

但利用阿里云超大规模云计算基础设施就不同了,它可以将M6 的计算任务分割成“一小块、一小块”,并利用阿里云已经在用的生产机器低谷时间运行,并不需要新购置机器,只需要利用现有云计算基础设施的“潮汐效应”就可提炼出所需的计算力。

更为重要的是,阿里云将M6 模型以AI工程化的方式实现,在具体设计计算的过程中采用了多种工程深度优化,比如计算效率、通信效率、显存消耗等多个方面,从而帮助千亿多模态预训练模型快速迭代训练。

贾扬清表示,就像当年美国的阿波罗登月飞船,其目的不仅是登月,更是一个超大规模科技实验和科技工程。在研发阿波罗登月飞船的过程中,产生了大量基础科研成果和技术工程成就,最终催生了美国现代电子科技产业,可以说改变了人类的科技历史进程。而M6 的研发,也将催生大量的基础科研成果和技术工程成就。

阿里云: 12 年数据智能超大工程

在M6 的背后,是阿里云 12 年来数据智能超大工程。以“大数据+AI一体化”为核心,阿里云平台承载了企业核心数据业务的构建和创新。

其中,阿里云飞天大数据平台是目前国内唯一自主研发的计算引擎,单一引擎可将 10 万台服务器合为一体,也是全球集群规模最大的计算平台;飞天AI平台则是国内首个云端商业化机器学习平台,开发者在飞天AI平台上,可按需调用平台的能力,包括软硬件一体的编程环境、云边端一体的高性能训练和推理引擎以及多模态算法开发与部署。

飞天大数据平台+飞天AI平台,就是M6 背后的超大工程。

阿里巴巴是典型的以数据驱动为核心的公司。最早的时候,阿里拥有亚洲最大的Oracle集群,从 2002 年到 2006 年阿里慢慢诞生不同的数字化技术,淘宝、天猫、B2B等一系列淘系技术开始出现。 2008 年,阿里遇到两个问题,一是数据越来越多,当时的Oracle技术无法承接超大规模数据,二是阿里不同BU和不同部门数据无法打通,无法形成数据的规模化效应。

这就是阿里云的起源。之后阿里云相继开发了大数据计算平台MaxCompute、大数据开发治理平台DataWorks、机器学习平台PAI等大数据和AI关键技术平台,还提出了跨整个集团的数据中台。

值得一提的是, 2019 年,贾扬清加盟阿里巴巴,负责阿里云大数据和AI平台的研发工作。同年,以MaxCompute+DataWorks为核心的飞天大数据平台和以机器学习平台PAI为核心的飞天AI平台正式对外发布。

经过 12 年来发展,阿里云飞天大数据平台和飞天AI平台已经积累了多个核心关键产品:SaaS 模式云数据仓库MaxCompute 、一站式大数据开发治理平台DataWorks、云原生实时数仓MaxCompute 交互式分析(Hologres)、实时计算 Flink 、机器学习平台PAI、云原生数据湖平台EMR等等。

同时,阿里云数据智能进入全面成熟期,“大数据+AI一体化”的数据智能不断升级,飞天大数据平台和飞天AI平台也演变为数据智能的核心承载。在发展过程中,飞天大数据平台成为由“湖仓一体+离线实时一体化云数据仓库+数据综合开发治理平台”组成的最佳实践。飞天AI平台基于机器学习PAI,联合了从底层芯片到中间分布式系统到上层规模化算法和数据,实现了大规模AI端到端的能力,构建了一个AI作战集团军。

正是这些进化了 12 年来的数智平台和技术,支撑了M6 在经济成本可控范围内,成为现实。

下一个大趋势:超大规模AI工程化

Gartner  2021 十大重要科技趋势中提出的一大趋势就是AI工程化。Gartner研究表明只有53%的项目能够从人工智能(AI)原型转化为生产。由于缺乏创建和管理生产级AI管道的工具,人工智能项目的扩展难度很大。为了将AI转化为生产力,就必须转向AI工程化。

Gartner提出,人工智能工程化立足于三大核心支柱:数据运维、模型运维和开发运维。贾扬清从阿里云自己的超大规模数据智能实践以及M6 的研发和工程化,总结了阿里云自己的AI工程化之道,这就是“大数据+AI一体化”的超大规模AI工程化:数据&算力的云原生化、调度&编程范式的规模化、开发&服务的标准化普惠化。

贾扬清介绍,阿里支持将大数据与AI平台放在一个团队里进行技术研发,其背后正如阿里自身的超大规模数据智能实践。

首先,数据和算力是人工智能的两大驱动力。无论是计算机视觉、自然语言处理,还是其它AI系统,都与数据密不可分。数据规模超大,AI模型越精准、高效但也越复杂。因此,无论是数据处理还是计算能力,都需要有一个更大规模、大体量的“底座”,这就是云原生计算“底座”。正是阿里云的数据与计算云原生“底座”,才支撑了M6 在1- 2 天内就完成上亿数据的训练且不用新增机器,因此数据和算力的云原生化是超大规模AI工程化的第一个体现。

其次,大规模、大体量“底座”的背后,意味着面临两个成本问题:资源成本和人力成本。因为GPU非常昂贵,管理大规模的集群和大规模系统,就需要用到典型的“削峰填谷”方法,考验能够把AI计算任务掰开了揉碎后,“放置”在资源空闲的地方,以降低总体计算资源成本。同时在这背后还是一个巨大的模型训练和计算和任务,需要高水平AI工程师完成大量的工作,而编程范式的规范化就能降低AI工程师们的工作量。因此,更好地做到资源调度和资源调配,以及让AI工程师更容易撰写分布式编程范式,是超大规模AI工程化的第二个体现。

第三,为了让AI模型能够更加紧密地应用在实际场景中,需要进行开发和服务的标准化和普惠化,让更多的人可以轻松完成AI建模、训练和部署等。阿里云一直在思考,如何让更多的人,更容易上手高大上的AI技术。机器学习PAI平台构建了一个体系:DLC平台(Deep Learning Container)提供云原生一站式的深度学习训练,DSW平台(Data Science Workshop)提供交互式建模, EAS 平台(Elastic Algorithm Service )提供更简易、省心的模型推理服务。贾扬清强调,阿里云AI业务的背后有一个AI工程团队在解决稳定性、弹性、免运维、用户体验等标准能力,这是超大规模AI工程化的第三个体现。

针对后M6 时代,贾扬清表示,“科研还在继续往前走,我们在寻找新的高精尖方向。但同时怎样把现有结果大规模应用到不同场景中去,是一个非常大的趋势。”

的确如此,M6 这样的超级中文AI工程最终落地到阿里云并服务于广泛的用户,这才是M6 的最终意义所在。阿里云计算平台研究员林伟介绍,M6 已经用于业务场景里,在犀牛新制造的服装设计上,M6 可以根据潮流趋势文本的描述,自动产出细节清晰的服装图,并符合生产标准。同时,在阿里云官网的大数据和AI体验馆,M6 已经开始支持用户调用API接口进行体验。

与此同时,对于阿里云来说,“大数据+AI一体化”是大数据发展的必然方向,而人工智能是大数据业务发展的终极出口。

事实上,在阿里云的超大规模数据智能平台上,越来越多的企业和机构从数字化转型走向了智能化:微博将万亿样本、百亿特征全量训练提升十倍,模型更新是 10 分钟量级,业务推荐效果提升10%;VIPKID用实时计算技术解决用户问题反馈实时性需求,实现自动化处理60%问题,减少40%监课人员,投诉率降低66%;天弘基金基于阿里云MaxCompute将原本需要清算 8 小时的用户交易数据缩短至 1 个半小时完成清算,极大地提升了业务效率;中建三局一公司基于阿里云的DataWorks和MaxCompute构建了数智建造一站式服务平台,覆盖了建造领域生产场景全链路、核心管控全流程和智能决策全视角,使建造类企业实时感知、动态控制和智能化决策成为现实……

全文总结:经过 12 年来发展,阿里云已经从最初的云计算,发展到云计算、大数据与AI等的融合一体化计算平台,已经为全球和全社会普及了超大规模数据、计算与智能的能力,为数字经济创造了无限可能。随着M6 走向万亿参数以及超大规模AI工程化,阿里云智能已经为疫情之后的下一个 12 年做好了充分准备。

  • 相关推荐
  • 大家在看
  • 阿里云盘为何这么强调“不限速”

    这些天,个人云存储的圈子里都快炸了锅,几乎所有人都在讨论着一款3月底才公测的新网盘——阿里云盘。根据最新数据,阿里云盘公测后不久就成功达成了AppStore第二名、小米应用商店第一名的成就。一般来说,这种位置都是被手游、社交软件霸占的,一款网络云盘能有这么高的下载量,很多年不见了。之所以能有如此表现,主要是因为阿里云盘团队对外公开承诺,阿里云盘“现在不限速,未来也不会限速。”“无论是不是会员vip,都不会限速。”要知道

  • 阿里云日本vps服务器多少钱 阿里云日本服务器租用价格

    阿里云是国内数一数二的vps云服务器主机商了,质量口碑都十分不错,阿里云国内版也是有日本机房的,一些朋友想买还不清楚大概多少钱,下面就来为大家分享一下。

  • 阿里云盘,多种途径可轻松扩容

    用过网盘的人都知道,目前的网盘市场就是“一家独大”的局面,大多数时候我们能选的就只有百度网。从优点来说,百度网盘有海量的分享资源,在里面找资源并一键存到自己网盘上很方便。但因为“限速”让人觉得有些遗憾,所以当“永不限速”的阿里云盘出现在大家视线中时,许多人纷纷转而开始使用阿里云盘。根据阿里云盘官方的对外表示“阿里云盘产品的核心理念是快速,让每个人都享有触手可及的快。”随意,阿里云盘不管现在还是将来,都承诺

  • 阿里云盘怎么样:虽有不足 但惊喜更多

    3 月 22 日,国内网盘界迎来了一位强有力的“搅局者”——阿里云盘。众所周知,过去很多年,在百度网盘一家独大的局面下,国内用户在网盘使用上没有太多选择空间,哪怕限速、哪怕收费,也只能默默接受。但同时,人们都渴望能有新的产品来打破这一僵局。所以,当阿里也开始进入网盘这个市场的时候,大家对它寄于了不小的期待。目前,阿里云盘正式公测也有一个多月了,从用户口碑和网友们的测试结果看,表现还是相当不错的。首先是速

  • 阿里云盘怎么样:永不限速绝非浪得虚名

    一直以来,国内的网盘市场上,“卖速度”收费都是最主要的盈利模式。过去,市面上虽然也曾短暂出现过一些免费不限速的网盘产品,但它们大多都是测试期为了吸引用户时短暂采取了不限速的营销模式。在过了测试期后,有的产品下线了免费模式,直接转向付费收费,有的则通过植入广告等变相形式“卖起了速度”。今年 3 月,阿里终于进入网盘市场,而它一出手,就是“王炸”。根据阿里云盘团队的对外发布的消息,阿里云盘“无论免费收费?

  • 阿里云服务器一年价格多少钱? 阿里云服务器租用价格表

    在全球云计算领域之中,从无垄断之说,仅有实力之分!尤其是在经历了漫长的十余年风雨之后,阿里云一直是初心不改,如此方得其始终,成为世界排名第三、国内排名第一的云服务品牌。“占据国内市场的半壁江山,能够拥有这种一骑绝尘的风采,阿里云凭借的是一种强大的综合实力!”阿里云优惠网(www.aliyun.net.cn)负责人表示。事实上,在阿里云的当前的盛名之下,从来都不泛捕风捉影之说。有人称其布局早是一大优势,还有人言其投?

  • 网盘世界搅局者——阿里云盘来了

    提起网盘或云盘,想必大家都不会感到陌生。相比U盘、移动硬盘等,网盘可以提供更大的存储空间、更方便的分享方式,数据转移起来也更方便安全,不用担心硬件丢失的问题。通过网盘,我们可以分享下载各种资源,对自己的重要资料、信息做备份。可以说,无论是上班族,还是学生党,生活工作中都离不开网盘的陪伴。网盘虽好,但有一个问题一直困扰着所有网盘的使用者——“限速”。要知道,现在许多人的手机都已经进入了5G时代,家里的?

  • 阿里云服务器租用多少钱一年?阿里云服务器租用价格表

    从苍茫一片到执牛耳者,由筚路蓝缕再至风光旖旎,阿里云一走就是十载光阴。正如事物的发展规律一般,阿里云从无到有,由少及多,从弱至强,最终龙门一跃,便成为全球第三大云服务商!“当全球经济呈现在线需求爆增,数字化转型态势迫在眉睫时,阿里云再一次成为中流砥柱,这是使命,更是初心!”阿里云优惠网(https://www.aliyun.net.cn)负责人表示。据了解,海内外最早体验云服务的,不是显赫的大中型企业,反而是一些中小站长?

  • 阿里云盘开启公测,未来能否取代巨头网盘?

    互联网时代,网盘、云盘这类个人云存储软件在我们的生活工作中必不可少,但市面上的网盘、云盘软件,大多不温不火,很少有人能够记住的产品。尤其是前几年,从UC网盘宣布停止服务开始,到360网盘、新浪微盘、迅雷快盘等相继关停个人存储服务,热热闹闹的网盘市场突然只剩下了为数不多的几个参与者。这其中,市场规模最大的就是百度网盘了。由于拥有海量的资源和秒传资源、一键分享等功能,百度网盘虏获了大量的固定用户群,并通过多年运营培?

  • 阿里云盘怎么样?PC端测评出炉

    一个多月前,阿里云盘正式开启了面向全网的公测之旅,大量互联网用户由此也体验到了一把阿里云盘免费高速上传下载的极致体验。然而,由于是测试初期,阿里云盘团队只开放了网页版、安卓版、iOS版三种客户端登录方式,让一些经常要用电脑备份资料的用户十分不习惯。好在,测试只过去了一个月,阿里云盘PC/MAC端也终于问世了。根据实测,在下载完安装程序并成功安装阿里云盘后,用户可通过短信登录、账号登录、扫码登录三种方式进入?

  • 阿里云盘推出PC端 快来尝鲜

    关于阿里云盘的消息近日连出不穷。先是在 3 月 22 日,阿里云盘正式开启了公测之旅,免费高速的上传下载体验、强大的照片备份功能、双重加固的安全性等功能都让用户眼前一亮,也让阿里云盘的下载量节节攀升,成功登顶来到 App Store 总榜第二、小米应用商店第一位置时,引发了市场的高度关注。不过在当时,阿里云盘的公测版只提供了网页版、安卓版、iOS版三种客户端,让习惯了在PC端备份文件的用户大呼遗憾。好在,进入 4 月没多久

  • 阿里云服务器租用费用多少钱?阿里云服务器租用价格表

    全球经济在疫情的影响下,在线需求大幅度提升,各企业也加大对人工智能、大数据以及云计算等新技术的投资,以此来推动数字化转型的步伐,进而实现增效降本,提高品牌的核心竞争力。“在各行各业进行智能化转型的趋势下,阿里云作为人工智能等新技术的输出中坚,无疑迎来一个绝佳的发展良机!”阿里云优惠网(https://www.aliyun.net.cn)负责人表示。事实上,全球云服务市场正呈现出急速增长的态势,当前的市场规模极大概率会突破33

  • 分享功能上线,阿里云盘升级进行时

    3月22日,内测了7个月之久的阿里云盘宣布正式启动公测,这是阿里集团在进入智能存储和全球云网络领域12年后,面向普通消费者推出的第一款个人云产品,引发市场热议。同时,阿里云方面针对网盘市场的普遍“痛点”,坚定表示:无论用户是否付费,未来都不会限速。这一消息,更让人们对于阿里云盘的未来刮目相看。众所周知,现在的网盘市场属于百度网盘一家独大的局面。百度网盘由于海量的用户规模和在线资源,形成了较强的进入壁垒,这是百度网盘

  • 速度快、体验佳 阿里云盘开启你的数字世界

    从 3 月末到现在,如果说有哪款云储存软件最火的话,那一定非阿里云盘莫属。从 3 月 22 日开启公测之旅起,阿里云盘很快就出现在了App Store应用下载总榜第二和小米应用商店冠军的位置,让人刮目相看。当然,对很多小伙伴来说,阿里云盘这个名字还是有点陌生的。阿里云盘是一款由阿里云团队在去年年末推出内测的个人网盘应用。经过了为期 7 个多月的内测,阿里云盘简化了主界面视觉效果,修复了部分bug,当然,在速度方面则是保持?

  • 阿里云公开“诉讼预判”相关专利 适用于电子商务纠纷

    ​5 月 21 日,阿里云计算有限公司公开“诉讼预判的方法、装置、系统及计算机存储介质”发明专利,公开号CN112825174A,申请日期为 2019 年 11 月。

  • NVIDIA-阿里云 TensorRT Hackathon 精彩收官

    AI 革命如火如荼,为企业带来新的机遇,每次客户互动、每件产品和每项服务都将融入 AI 并借助 AI 实现改进。多年来,GPU 已经证明能够非常有效地解决某些极为复杂的深度学习问题,而且 NVIDIA 深度学习平台也逐渐成为业界标准的训练解决方案,但其推理能力并非广为人知。早在 2016 年NVIDIA就推出了支持高性能深度学习推理加速引擎——TensorRT。TensorRT是一个高性能的深度学习推理(Inference)优化器。经过几个版本的迭代,Tens

  • 可以分享文件后,百度网盘和阿里云盘哪个好用?

    “网盘限速”一直是广大网盘用户吐槽的话题。随着阿里巴巴上月推出了“阿里云盘”,市场格局悄然发生了变化。背靠阿里云服务器的雄厚技术实力、基础硬件和财力支持,阿里云盘团队在云盘公测之初,就对外承诺了“阿里云盘”上传下载均“永不限速”“未来即使会员收费也不会对速度进行限制”,这犹如平地一声惊雷,吸引了无数“网盘依赖者”的目光。在一通测试之后,阿里云盘在速度方面的表现让大家彻底放了心。比如某网友表示,自己每次想?

  • 1G摄影图上传只用两分钟!阿里云盘爱了爱了

    3 月22 日的时候,阿里云盘正式宣布了启动公测,而且对外宣传现在不限速,未来也不限速。公测后不久,许多小伙伴就纷纷长传截图,显示自己下载的速度超过了100MB/秒,让人激动不已。作为资深摄影师,如果说理想中我需要的网盘是什么样,我觉得:一是不充会员也不会限速,而且至少10 MB/秒以上、二是能够方便地进行照片备份、分享,最后文件安全性也不可或缺。不过这要求是有点多,找了很多年,都没有一个网盘能够让我称心如意,所以

  • 超过1300支队伍参赛 第二届阿里云运维算法大赛圆满落幕

    5 月 14 日,由阿里云、PAKDD2021 联合举办的“第二届阿里云智能运维算法大赛”首次以“线上+线下”同步举行的方式圆满落幕!本次大赛基于阿里云天池平台举办,聚焦于“解决大规模生产系统中的内存故障预测”,尤其是内存故障引发的非预期宕机问题,得到了众多高校学子的关注,吸引了超过 1300 支队伍参赛。2020 年以来,全球经历了新冠疫情的严峻考验,各行各业对5G、大数据、人工智能等新一轮技术发展提出了更高、更新的要求,这?

  • 阿里云物联网操作系统AliOS Things新版发布:新增轻应用开发模式

    近日,阿里云物联网操作系统AliOS Things时隔一年,新版本AliOS Things 3.3.0正式开源发布,该版本推出轻应用开发模式,为碎片化的物联网提供统一的操作系统解决方案。在物联网操作系统领域,要做到效率高,资源占用少不算难,但要提升操作系统的易用性,降低开发门槛,确是一件十分困难的事情。万物互联时代,需要更多的开发者参与到物理世界的数字化进程中,为了引入更多开发者,物联网操作系统一定需要一个低门槛、一定要有丰富

  • 热门标签

热文

  • 3 天
  • 7天