首页 > 业界 > 关键词 > 机器学习最新资讯 > 正文

优化网络通信可以加速大规模机器学习模型的训练

2021-04-12 22:29 · 稿源:cnbeta

在高速网络设备中插入轻量级的优化代码,使得KAUST领导的合作将并行化计算系统的机器学习速度提高了五倍。这种 "网内聚合 "技术是与英特尔、微软和华盛顿大学的研究人员和系统架构师共同开发的,它可以利用现成的可编程网络硬件提供显著的速度提升。

人工智能(AI)之所以能够拥有如此强大的 "理解 "和与世界互动的能力,其根本的好处是机器学习步骤,即使用大量标记的训练数据集来训练模型。训练AI的数据越多,当暴露于新的输入时,模型就可能表现得越好。

最近人工智能应用的爆发主要是由于更好的机器学习和使用更大的模型和更多样化的数据集。然而,执行机器学习计算是一项艰巨的任务,并越来越依赖于并行运行学习算法的大型计算机阵列。

"如何大规模地训练深度学习模型是一个非常具有挑战性的问题,"KAUST研究团队的Marco Canini说。"人工智能模型可能由数十亿个参数组成,我们可以使用数百个处理器,这些处理器需要高效地并行工作。在这样的系统中,增量模型更新过程中处理器之间的通信很容易成为主要的性能瓶颈。"

该团队在英特尔旗下的Barefoot Networks公司开发的新网络技术中找到了潜在的解决方案。

"我们使用Barefoot Networks新的可编程数据平面网络硬件来卸载分布式机器学习训练过程中执行的部分工作,"后来加入英特尔Barefoot Networks团队的KAUST校友Amedeo Sapio解释道。"使用这种新的可编程网络硬件,而不仅仅是网络来移动数据,意味着我们可以沿着网络路径进行计算。"

该团队的SwitchML平台的关键创新在于,在机器学习过程的模型更新阶段,允许网络硬件在每个同步步骤中执行数据聚合任务。这不仅卸载了部分计算负载,还大大降低了数据传输量。

"虽然可编程开关数据机可以非常快速地进行操作,但它能做的操作是有限的,"Canini说。"因此,我们的解决方案必须对硬件足够简单,但又必须足够灵活,以解决板载内存容量有限等挑战。SwitchML通过共同设计通信网络和分布式训练算法来解决这一挑战,与最先进的方法相比,实现了高达5.5倍的速度提升。"

这篇文章对你有价值吗?

  • 相关推荐
  • 大家在看
  • 字幕投屏、快速出稿 人工智能加成下的会议新模式

    跟随讲话内容实时呈现字幕,这种以前只在视频剪辑才能看到的现象,正在视频会议以及更多的会场上演。字幕以外,会议内容同时会以投屏形式在会场/分会场大屏幕和线上进行呈现,方便所有与会成员准确获取会议信息。这些场景正是人工智能与会议管理相结合的典型案例,是语音识别、语义理解、机器翻译等AI能力的基础应用。精准识别会议内容目前,语音识别技术普遍采用端到端(CTC)语音识别框架和端点检测(VAD)技术,搭配基于Attenti

  • 明略科技亮相2020中国人工智能产业年会 解读吴文俊人工智能技术发明一等奖成果

    2021 年 4 月 10 日- 12 日,中国人工智能学会主办的吴文俊人工智能科学技术奖十周年颁奖盛典暨 2020 中国人工智能产业年会成功举办。明略科技,作为第十届吴文俊人工智能科学技术发明一等奖获得者,受邀参会。在主论坛和智能系统专题论坛上,明略科技集团首席科学家、明略科学院院长吴信东,对此次获奖成果进行深度解读,就HAO智能理论和知识图谱的自动构建发表主题演讲,并与来自学术界、产业界的权威学者和顶级专家共同探讨人工

  • 国行Switch销量超100万台

    今日,腾讯发布 2020 年第四季度业绩报告,首度披露国行版Switch主机销售数据。腾讯表示,目前已在中国销售超过100万台Switch主机,发布十多款Switch游戏。

  • 彭博:任天堂力争下一财年Switch和游戏销售创纪录

    据彭博报道,任天堂公司的合作伙伴和供应商称,任天堂公司正在为未来一年创纪录的软件和Switch销量做准备,这一业绩比投资者预测的要强得多。

  • 孩子天天和题海文山做斗争?栗志AI人工智能题库火速上线!

    相信当今在很多家庭都存在这样一个问题,孩子天天和题海文山做斗争,成绩却一如既往地提不上去,为什么会出现这种情况呢?众所周知,孩子刷题的意义不在于数字上的充量,而是适合孩子学习情况的针对性提升。为了解决绝大多数家庭的烦恼,减轻孩子的学习压力,节省孩子的学习时间,栗志AI人工智能题库火速上线!其优势在于帮助孩子循序渐进地适量刷题,为孩子量身定制个性化的智能题库。假设孩子目前的成绩是 70 分,栗志AI人工智能

  • AI助力宫颈癌筛查技术提升,人工智能为健康保驾护航

    宫颈癌是中国第一大妇科恶性肿瘤,是我国和全球面临的主要公共问题之一。我国每年死于宫颈癌的女性多达5.3万人,70%-80%女性一生中都会感染HPV病毒,90%以上的宫颈癌伴有HPV病毒感染,消除宫颈癌成为全世界的期望。在2020年的两会上,多位代表和委员呼吁尽快实现我国适龄女孩HPV疫苗国家计划免疫接种(免费接种)。2月10日,国家卫健委回复称,对HPV疫苗接种纳入国家免疫规划进行统筹研究,逐步推广适龄人群HPV疫苗接种。预防宫颈?

  • 消息称任天堂今年推出Switch Pro最强升级几乎没悬念

    据外媒最新报道称,任天堂已经在为Switch Pro推出做准备了,其有可能会在今年圣诞季前后上市。在这之前,任天堂在推送的最新12.0版本固件的内容中,有着字样,有专家解读了这一代码,其中CrdA是Cradle for Aula,Aula据称就是Switch Pro的研发代号,之前也曾曝光过。后面的4K DP,那么就是支持TV模式的4K分辨率了,这也是Switch Pro的重大革新之一。最新的报道中提到,新款Switch主机配备7英寸OLED屏幕,同时也将支持“深度学

  • 海外版Switch游戏机大量下架 国行版仍可正常购买

    近日,有网友发现在淘宝上大量的海外版Switch游戏机、游戏卡,以及PS与Xbox游戏机被下架。但国行版以及保税仓发货的Switch游戏机仍可正常购买。

  • 拒绝职场焦虑 讯飞智能录音笔H1让你赢在人工智能时代

    智能录音笔正在悄悄成为职场人的新刚需。近几年,科大讯飞陆续推出了一系列智能录音笔,在高中低端市场均表现优异,驱动录音笔进入智能转写时代。近日,讯飞乘胜追击,推出新品——讯飞智能录音笔H1,旨在用A.I.帮助职场人成功进阶。职场角色随心切换 自如应对人工智能时代与传统录音笔不同,讯飞智能录音笔背靠讯飞强大的A.I.语音识别技术实力,集录音、转写、翻译等多种功能于一身,不但是记者、讲师、律师等专业人员的必备品,?

  • AI 落后要挨打的苹果,5 年疯狂收购 25 家人工智能公司!

    据外媒消息,过去5年中,苹果公司在收购人工智能公司数量上排名第一。根据Globaldata的交易数据显示,2016年~2020年人工智能技术领域的并购交易格局由美国科技巨头主导,在人工智能领域最大的5家收购方中,有4家总部都在美国:苹果、谷歌、微软、Facebook。

  • 大航海时代4威力加强HD版Steam/Switch版5月推出

    ​光荣特库摩宣布模拟游戏《大航海时代》系列的第四作《大航海时代4PORTO ESTADO》的移植版《大航海时代4with 威力加强HD 版》(Steam/Nintendo Switch)将于2021年5月20日(四)发售。

  • 海外版Switch游戏机大量下架 什么时候可以恢复日版港版NS

    最近在switch和ps4相关的主机贴吧的玩家都在讨论一件事,那就是一些电商平台上海外版的switch和ps4、ps5等港版日版主机都下架了,目前已经无法购买。

  • 鼎茂科技-上海人工智能研究院AIOps联合实验室成立

    3 月 30 日,鼎茂科技与上海人工智能研究院在上海真如城市副中心举行了战略合作签约仪式,成立【智能运维AIOps联合实验室】,共同加速推动AIOps产学研用一体化发展。AIOps正在逐渐成为中国企业数字化发展道路上的重点需求,但算法建模中参数调整的复杂性和反复性;功能设计对于运维实际场景的贴合度,以及工程化水平的技术门槛,是AIOps能力对各行业产生价值所必须攻克的难点,鼎茂科技与研究院将利用各自的优势和协同的效能,依托?

  • 任天堂Switch Pro部分参数曝光:TV模式支持4K分辨率

    有关任天堂新主机Switch Pro的消息最近越来越多,侧面也说明任天堂这款主机上市的时间也越近了。就在近日国外网站又曝光了Swtich Pro的部分参数,这里我们来看下这款主机的参数信息。

  • 高额奖池、院士评定,首届全球人工智能技术创新大赛开启征召!

    随着新一轮科技革命和产业变革的来临,产业智能化升级与转型正迈进新的加速阶段。积淀的AI技术如何下沉到行业,如何构建良好的智能发展生态,如何在更深刻的层面影响大众生活,成为了当前关键问题。在过去十几年的AI浪潮中,计算机视觉与自然语言处理技术的突破,为各行各业的发展带来了新的潜力。如今随着AI技术突破的放缓,我们需要认真思考,如何将这些技术突破应用金融、医疗、汽车、手机等各个领域,通过不断的开拓、创新,推动产业智能

  • 搜狗获颁2021年度人工智能卓越奖:用AI技术谱写行业新蓝图

    北京时间3月29日晚,搜狗公司荣膺由商业智能集团(Business Intelligence Group)颁发的“2021年度人工智能卓越奖”,AI技术及应用能力再获国际认可。 与其他行业奖项不同,商业智能集团的奖项均由具有丰富从业经验与行业知识的企业高管评判选出;其独一无二的计分体系,可综合衡量入围企业在多个业务领域的表现,旨在表彰将人工智能带入生活并应用其解决实际问题的企业、产品及个人。历届上榜企业中包含了如IBM、江森自控在内的多家

  • 消息称滴滴自动驾驶拟筹资至多5亿美元 用于投资人工智能芯片等

    有知情人士透露,滴滴出行旗下滴滴自动驾驶计划筹资至多5亿美元,筹得的新款项将帮助滴滴加速自动驾驶汽车的大规模生产,并投资于人工智能芯片等技术。对此,滴滴方面不予置评。

  • 戴尔科技集团发布面向人工智能和边缘计算的新一代PowerEdge服务器

    戴尔科技集团(NYSE:DELL)宣布推出新一代更强大、更安全的戴尔易安信PowerEdge服务器。借助这些全新服务器,戴尔正在成就一条通往自主基础设施的道路,旨在提高IT效率、拥抱人工智能并满足边缘的IT需求。从核心数据中心到公有云和边缘位置,无论数据存储在哪里,这个全球销量领先的服务器产品系列 2 都能提供强大的功能,帮助客户从这些数据中获取实时洞察并进行数据处理。这 17 款全新的PowerEdge服务器融入了 1100 项戴尔已经?

  • 怪物猎人崛起Switch版发售三天 全世界销量突破400万套

    ​CAPCOM 今(29)日宣布,在 Nintendo Switch 平台推出的《怪物猎人》系列最新作《怪物猎人 崛起(モンスターハンターライズ)》在全球的出货套数已经突破400万套。

  • 2021年人工智能全球最具影响力学者榜单AI2000发布

    4月8日,2021年人工智能全球最具影响力学者——AI 2000 榜单重磅揭晓。 AI 2000 榜单由清华大学AMiner联合北京智源研究院、清华-中国工程院知识智能联合研究中心共同发布,旨在通过AMiner学术数据在全球范围内遴选过去十年人工智能学科最有影响力、最具活力的顶级学者。通过跟踪全球人工智能领域学者2010年到2020年的论文发表情况,用计算机算法自动生成榜单排名,确保了榜单的客观、公正。 AI 2000 榜单涵盖人工智能学科20个子领

  • 热门标签

热文

  • 3 天
  • 7天