首页 > 传媒 > 关键词 > 华为云最新资讯 > 正文

华为云ModelArts刷新深度学习模型训练世界纪录

2018-12-03 14:21 · 稿源:站长之家用户投稿

近日,斯坦福大学发布了DAWNBenchmark最新成绩,在图像识别(ResNet50-on-ImageNet,93%以上精度)的总训练时间上,华为云ModelArts排名第一,仅需 10 分 28 秒,比第二名提升近44%。成绩证明,华为云ModelArts实现了更低成本、更快速度、更极致的体验。

斯坦福大学DAWNBench是用来衡量端到端的深度学习模型训练和推理性能的国际权威基准测试平台,相应的排行榜反映了当前全球业界深度学习平台技术的领先性。计算时间和成本是构建深度模型的关键资源,DAWNBench提供了一套通用的深度学习评价指标,用于评估不同优化策略、模型架构、软件框架、云和硬件上的训练时间、训练成本、推理延迟以及推理成本。

作为人工智能最重要的基础技术之一,近年来深度学习也逐步延伸到更多的应用场景。随着深度学习模型越来越大,所需数据量越来越多,深度学习的训练和推理性能将是重中之重。华为云ModelArts将结合华为在AI芯片、硬件、云设施、软件和算法的全栈优势,打造更快的普惠的AI开发平台。

下文深入分析华为云ModelArts如何做到性能极致—— 128 块GPU,ImageNet训练时间 10 分钟

1. 深度学习广泛应用,模型增大、数据增长深度学习训练加速需求日益剧增

近年来,深度学习已经广泛应用于计算机视觉、语音识别、自然语言处理、视频分析等领域,可服务于视频监控、自动驾驶、搜索推荐、对话机器人等场景,具有广阔的商业价值。

为了达到更高的精度,通常深度学习所需数据量和模型都很大,训练非常耗时。例如,在计算机视觉中,如果我们在ImageNet[1]数据集上用 1 块V100 GPU训练一个ResNet- 50 模型, 则需要耗时将近 1 周。这严重阻碍了深度学习应用的开发进度。因此,深度学习训练加速一直是学术界和工业界所关注的重要问题也是深度学习应主要用的痛点。

Jeremy Howard等几位教授领衔的fast.ai当前专注于深度学习加速,在ImageNet数据集上用 128 块V100 GPU训练 ResNet- 50 模型的最短时间为 18 分钟。

然而,最近BigGAN、NASNet、BERT等模型的出现,预示着训练更好精度的模型需要更强大的计算资源。可以预见,在未来随着模型的增大、数据量的增加,深度学习训练加速将变得会更加重要。只有拥有端到端全栈的优化能力,才能使得深度学习的训练性能做到极致。

[1] 文中所指的ImageNet数据集包含 1000 类个类别,共 128 万张图片,是最常用、最经典的图像分类数据集,是原始的ImageNet数据的一个子集。

2. 华为云ModelArts创造纪录,“极致”的训练速度

华为云ModelArts是一站式的AI开发平台,已经服务于华为公司内部各大产品线的AI模型开发,几年下来已经积累了跨场景、软硬协同、端云一体等多方位的优化经验。ModelArts提供了自动学习、数据管理、开发管理、训练管理、模型管理、推理服务管理、市场等多个模块化的服务,使得不同层级的用户都能够很快地开发出自己的AI模型。

模型训练部分,ModelArts通过硬件、软件和算法协同优化来实现训练加速。尤其在深度学习模型训练方面,华为将分布式加速层抽象出来,形成一套通用框架——MoXing(“模型”的拼音,意味着一切优化都围绕模型展开。采用与fast.ai一样的硬件、模型和训练数据,ModelArts训练时长可缩短 10 分钟,创造了新的纪录为用户节省44%的时间

3.分布式加速框架MoXing

MoXing是华为云ModelArts团队自研的分布式训练加速框架,它构建于开源的深度学习引擎TensorFlow、MXNet、PyTorch、Keras之上,使得这些计算引擎分布式性能更高,同时易用性更好。

高性能

MoXing内置了多种模型参数切分和聚合策略、分布式SGD优化算法、级联式混合并行技术、超参数自动调优算法,并且在分布式训练数据切分策略、数据读取和预处理、分布式通信等多个方面做了优化,结合华为云Atlas高性能服务器,实现了硬件、软件和算法协同优化的分布式深度学习加速。

易用:让开发者聚焦业务模型无忧其他

在易用性方面,上层开发者仅需关注业务模型,无需关注下层分布式相关的API,仅需根据实际业务定义输入数据、模型以及相应的优化器即可,训练脚本与运行环境(单机或者分布式)无关,上层业务代码和分布式训练引擎可以做到完全解耦。

4.两大指标看MoXing分布式加速关键技术

在衡量分布式深度学习的加速性能时,主要有如下 2 个重要指标:

1)吞吐量,即单位时间内处理的数据量;

2)收敛时间,即达到一定的收敛精度所需的时间。

吞吐量一般取决于服务器硬件(如更多、更大FLOPS处理能力的AI加速芯片,更大的通信带宽等)、数据读取和缓存、数据预处理、模型计算(如卷积算法选择等)、通信拓扑等方面的优化,除了低bit计算和梯度(或参数)压缩等,大部分技术在提升吞吐量的同时,不会造成对模型精度的影响。为了达到最短的收敛时间,需要在优化吞吐量的同时,在调参方面也做调优。如果调参调的不好,那么吞吐量有时也很难优化上去,例如batch size这个超参不足够大时,模型训练的并行度就会较差,吞吐量难以通过增加计算节点个数而提升。

对用户而言,最终关心的指标是收敛时间,因此MoXing和ModelArts实现了全栈优化,极大缩短了训练收敛时间。在数据读取和预处理方面,MoXing通过利用多级并发输入流水线使得数据IO不会成为瓶颈;在模型计算方面,MoXing对上层模型提供半精度和单精度组成的混合精度计算,通过自适应的尺度缩放减小由于精度计算带来的损失;在超参调优方面,采用动态超参策略(如momentum、batch size等)使得模型收敛所需epoch个数降到最低;在底层优化方面,MoXing与底层华为自研服务器和通信计算库相结合,使得分布式加速进一步提升。

5.测试结果对比,用数据说话

一般在ImageNet数据集上训练ResNet- 50 模型,当Top- 5 精度≥93%或者Top-1 精度≥75%时即可认为模型收敛。

我们测试的模型训练收敛曲线如下图所示。此处Top- 1 和Top- 5 精度为训练集上的精度,为了达到极致的训练速度,训练过程中采用了额外进程对模型进行验证,最终验证精度如表 1 所示(包含与fast.ai的对比)。图4(a)所对应的模型在验证集上Top-1 精度≥75%,训练耗时为 10 分 06 秒;图4(b)所对应的模型在验证集上Top-5 精度≥93%,训练耗时为 10 分 28 秒。

6. 未来展望——更快的普惠AI开发平台

华为云ModelArts致力于为用户提供更快的普惠AI开发体验,尤其在模型训练这方面,内置的MoXing框架使得深度学习模型训练速度有了很大的提升。正如前所述,深度学习加速属于一个从底层硬件到上层计算引擎、再到更上层的分布式训练框架及其优化算法多方面协同优化的结果,具备全栈优化能力才能将用户训练成本降到最低。

后续,华为云ModelArts将进一步整合软硬一体化的优势,提供从芯片(Ascend)、服务器(Atlas Server)、计算通信库(CANN)到深度学习引擎(MindSpore)和分布式优化框架(MoXing)全栈优化的深度学习训练平台。并且,ModelArts会逐步集成更多的数据标注工具,扩大应用范围,将继续服务于智慧城市、智能制造、自动驾驶及其它新兴业务场景,在公有云上为用户提供更普惠的AI服务。

目前华为云ModelArts已经在公测中,欢迎大家前往官网试用。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 华为云优秀伙伴带来公开课,北明软件与泰克教育携手精彩分享

    社会生活中,摩擦纠纷难免发生。但据研究统计,相当部分的矛盾纠纷,根本无需走到诉讼程序,通过协商、调解、仲裁、公证等非讼渠道就能化解。加之信息网络的快速发展,也催化了当事人和相关工作人员通过在线的方式处理问题的需求。如何利用云计算、AI等新技术,在线多元化解纠纷,成了构建新型纠纷治理模式的迫切需求。然而,纠纷处理面临着种类繁多、流程各异、涉及到的部门和人员多等一系列复杂问题。比如纠纷类型,除了刑事犯罪

  • 企业数字化转型关键期,华为云送来了一记助攻

    2020年初的黑天鹅,造成了企业复产复工的难题,与此同时,数字化转型成了逆势中的一道曙光,助力企业快速恢复和崛起。 36氪此前的调查和报道中发现,处于发展不同阶段、规模不一的大中小企业,不管是危机时期,还是正常时期,用数字化方式谋求生存和增长已逐渐成为当下的共识。 大数据、人工智能、云计算、物联网等创新技术和日益数字化的业务流程,让我们看到数字化技术正迅速席卷大多数行业和地域,数字化进程正在被前所未有的?

  • 华为云FusionAccess连续四年中国桌面云市场第一

    IDC最新研究数据显示,华为云FusionAccess桌面云一马当先,又一次斩获中国桌面云市场第一。这已经是自该报告2016年发布以来,华为连续第四年领跑中国桌面云市场,显示了客户对华为在桌面云市场多年来持续投入的认可。 IDC数据显示,华为不仅继续在其耕耘多年的政府市场持续领先,并且在金融、制造、能源等更多的行业也越来越受欢迎。同时期待FusionAccess基于华为鲲鹏生态会有更加优异的表现。 2020年,华为云FusionAccess针对日?

  • 第四届世界智能大会“云上”启幕,华为云与计算破解“新基建”底层密码

    6月24日,由国家发改委、科技部、工信部、国家广电总局、国家网信办、中国工程院、中国科学院、中国科协和天津市政府共同举办的第四届世界智能大会通过“云上”方式启动,行业专家齐聚线上,为智能科技领域的良性发展献言献策,为聚力建设人工智能先锋城市打造“天津智港”贡献力量。华为公司副总裁、华为云与计算中国区总裁史耀宏出席云上会议并发表观点:未来十年将是中国产业升级最关键的十年,尤其是在宏观环境变化的情况下,

  • IDC:华为云容器软件市场份额位居中国第一,全球第二

    近日,全球权威咨询机构IDC发布《PRC SDC Software Market Overview, 2019H2/2019》报告,报告显示,华为云容器软件市场份额排名位居中国厂商第一、全球厂商第二。数据来源:IDC《PRC SDC Software Market Overview, 2019H2/2019》目前,华为云容器已构建起包括八大基础服务、四大解决方案在内的全栈容器产品,广泛服务于泛互联网、金融、政府、制造、生物等行业客户。华为云容器八大基础服务具体包括云容器引擎(CCE)、云容器?

  • 掌门教育携手华为云展开“5G+教育”深度合作 打造更有趣的智慧课堂

    信息技术的进步为千行万业的升级带来变革,4G的诞生改变了我们的生活,5G的落地则将改变世界。5G时代,绝不仅仅是网速和容量的提升,而是将掀起一场颠覆式的产业变革,以及再一次的数字生活大爆炸,每一个垂直行业企业,都将面临一场全新的变局。作为智能化教育的先锋探索者,掌门教育一直坚持创新教学场景应用,促进智能教育的升级发展。近日,掌门教育与华为云“5G+X”联创营展开深度合作,利用5G、AI、云等创新科技持续为教育赋

  • Counterpoint Research:华为云IoT物联网平台竞争力国内排名第一世界第三

    据全球行业分析咨询公司Counterpoint Research最新发布的数据显示,华为云IoT物联网平台在全球 20 家知名厂商竞争力排名中位居国内第一、全球第三。

  • 连续4年 华为桌面云稳居中国第一!

    据市调机构IDC的最新数据,华为云FusionAccess桌面云斩获2019年度中国桌面云市场第一,份额为24%。这也是该报告2016年首次发布以来,华为连续第四年领跑中国桌面云市场。IDC报告指出,华为

  • DNF云上长安战未央入场条件 云上长安战未央怎么入场

    ​DNF在6月18日开启了最新的副本云上长安战未央,很多玩家还不知道云上长安战未央到底怎么入场,下面就来为大家分享一下云上长安战未央入场的条件。

    dnf
  • 大搜车宣布并购云漾科技

    今日,大搜车宣布完成对北京云漾信息科技有限公司的并购。大搜车称,此次并购,将闭环汽车流通领域全场景数字化能力,为汽车厂商搭建从厂商端、店端到用户端“三端合一”用户全旅程数字化管理系统能力,进一步推动汽车产业迈向数字文明。

  • 让安全运营简单高效,腾讯云获首批可信云SOC行业标准认证

    6 月 17 日,由中国信息通信研究院指导,云计算标准和开源推进委员会承办,云计算开源产业联盟支持的“构建云时代下的安全运营中心在线分享会”正式召开,会上重磅发布了首批可信云安全运营中心(SOC)能力评估结果 ,腾讯云成为首批通过认证的四家企业之一。据了解,可信云服务认证是由数据中心联盟、云计算发展与政策论坛与中国信息通信研究院联合组织的我国唯一针对云服务可信性的权威认证体系。可信云自 2013 年推出以来,评估范

  • 腾讯安全推战略新品,SaaS化云防火墙打造云上第一道防线

    伴随企业核心业务大量上云,在云端混合环境、移动访问及在线应用程序迅速发展的趋势下,上云企业亟需更具细粒度的安全技术来替代传统防火墙。 6 月 16 日,腾讯安全举办线上新品发布会,宣布推出战略级新品——新一代SaaS化云防火墙,即开即用,助力企业解决云上业务隔离、统一访问管控等基础安全问题,为企业打造上云的第一道安全防线。企业上云后,面临四大基础网络安全挑战企业上云后,应用程序和数据可以在云端和混合环境中处?

  • 来领上云消费券!2020阿里云618全攻略

    阿里云 618 活动(6.1-6.30)火热进行中,发亿元 “上云消费券”——来活动会场立领 618 大礼包。活动入口:https://www.aliyun.com/activity/618/index

  • 阿里云宣布未来一年投入20亿资金 助力50家伙伴云上营收过亿

    凤凰网科技讯 6月16日消息,在2020阿里云合作伙伴峰会上,阿里云宣布深耕“被集成”战略,做强生态,未来一年投入20亿专项资金,助力50家伙伴云上营收过亿。2019年,阿里云提出“被集成”战略。阿里云表示,截至目前,阿里云与合作伙伴已发布500多款联合解决方案,覆盖30多个重点细分行业,一批伙伴在阿里云上已营收过亿。一周前,阿里云公布“再生长”三大方向:做深基础、做厚中台、做强生态。“被集成与做强生态是一脉相承的。?

  • 大搜车宣布并购云漾科技 收购金额未知

    大搜车宣布完成对北京云漾信息科技有限公司的并购。大搜车称,此次并购,将闭环汽车流通领域全场景数字化能力,为汽车厂商搭建从厂商端、店端到用户端“三端合一”用户全旅程数字化管理系统能力,进一步推动汽车产业迈向数字文明。大搜车未对外透露具体交易金额。大搜车表示,此次并购完成后,大搜车将整合云漾科技的产品、业务和能力,加速布局汽车流通领域的全场景数字化,从营销、销售、服务等场景提

  • 从“流失访客”到“销售机会”,火眼云这样帮您搞定

    B2B研究机构 SiriusDecisions 曾针对企业客户的购买旅程做过一个研究,结果表明,有67%的B2B购买过程是在网上进行的。所以,那些在网站上显示出的购买信号是企业绝对不能错过的。这也就要求B2B企业首先具备关注这些信号的能力,然后进行主动联系,以确保那些感兴趣的潜在客户能时刻保持活跃的参与度。 而承载B2B企业这项能力的技术就是我们经常所说的访客召回。 访客召回是一种在线营销形式:通过对一个人的在线行为进行洞察,为?

  • 新裸金属功能加持 ZStack深化云进程

    转载自公众号:信息化时代“新基建”是当前的业界热点话题。发展“新基建”既是国家考量今后一段时间经济形势做出的科学决策,也是应对数字化未来、支撑数字中国建设的战略决断。信息技术应用发展,作为“新基建”的重要内容,是拉动经济发展的重要抓手之一,将迎来黄金发展期。工信部相关负责人也曾在国务院联防联控新闻发布会上表示,数字基础设施建设是支撑未来经济社会发展的新型基础设施的重心和基础。一方面,在基础软硬件方

  • “云”办公时代,MAXHUB助力开启高效会议模式

    当下,线上办公和远程协同的需求在持续高涨,而数字化技术对于办公场景的重塑,也加速了“云”办公时代工效的提升。正如 3 月份基于远程视频形式成功召开的G20 峰会,不仅成为史上首次国际大型“云”会议,也充分印证了云场景下远程视频会议功能对于工效提升的保证。 “云”办公提效成为可能 其实,近几年智能会议平板已经成为不少大、中型企业的智能办公标配,而特殊期间“云”办公模式的常态化让智能会议平板的提效潜能进一步?

  • 滴滴云AI大师码:4321,购买滴滴云GPU云服务器享9折优惠

    滴滴云GPU云服务器提供了P4、P40、P100 和T4 四种机型,适用于深度学习推理/预测、深度学习训练、图像处理、浮点高性能计算、视频编解码等应用场景;滴滴云GPU云服务器具有超高性价比,价格优势明显。购买滴滴云GPU云服务器之前,可以输入AI大师码,有 9 折优惠。下面我就分享一下滴滴云AI大师码。滴滴云AI大师推荐码,购买滴滴云GPU云服务器享 9 折优惠。用户购买滴滴云GPU云服务器的时候,输入AI大师码:4321,即可享受 9 折优惠

  • 抖音推高校专属毕业特效 学生可与母校“云合影”

    6月,国内各大高校相继迎来了“毕业季”。受新冠肺炎疫情影响,今年毕业季不少师生、同窗难以相聚,只能“云答辩”、“云毕业”。为了弥补众多毕业生的遗憾,抖音联合北京大学、中国人民大学、浙江大学等近四十所高校,发起“全国高校云毕业贴纸”活动。基于抖音特效开放平台提供的能力,高校自主创作专属的毕业贴纸,融入本校的地标建筑等文化元素,传递高校对于毕业生真挚的祝福。毕业特效有“纪念册”

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议