首页 > 传媒 > 关键词 > 机器学习最新资讯 > 正文

机器学习在领英的规模化应用

2019-12-06 14:19 · 稿源:站长之家用户投稿

  人工智能和机器学习仍然是全球持续增长的领域之一,近年来涌现出越来越多本科生或者非人工智能专业出身的工程师,他们努力学习和使用技术来改进产品,几乎每天都有新的机器学习技术和框架发布。这篇文章将讨论领英如何规模化利用技术,帮助更多工程师提升机器学习的效率。近日,领英中国机器学习研发经理李子在IEEE数据挖掘国际会议(ICDM)上分享了领英是如何规模化开展机器学习,介绍领英的核心产品以及如何利用技术帮助更多工程师提升机器学习的效率。

  Pro-ML提升机器学习效率

blob.png

  过去 10 年,领英把人工智能技术应用于各个方面来提升用户和客户体验,比如你可能认识的人(People You May Know),可以为你推荐能够给你的职业发展带来价值的人;Feed可以帮你找到最相关的行业信息,比如最新的文章或联系人的最新动态;Recruiter Search可以帮助企业了解趋势,更好地进行招聘;职位推荐系统(Job Recommendations System)可以帮你找到工作或者跳槽到更好的企业。机器学习推动着领英的核心产品。

  但领英发现,过去每个团队用自己的AI技术堆栈开发各自的产品。,这种做法无法有效实现规模化,因为每个团队使用的技术不同,从逻辑回归到深度学习,从Pig 、 Hive、Spark到Scalding等等,团队之间的AI技术堆栈很难共享协作。所以领英希望在招入新的工程师或是开发新功能、使用新技术时,尽可能减少大家的负担。此外,近年来很多人工智能领域的从业者其实并不是人工智能专业出身,领英的AI基础架构对他们来说过于复杂,难以用来构建、迭代模型。

  为了高效地促进机器学习规模化,领英构建了名为“Productive Machine Learning”(高效机器学习)的项目,简称Pro-ML。Pro-ML的目标是将AI工程师的工作效率翻一番,让他们能更轻松、更高效地构建模型。在过去十年里领英发现,模型性能与模型更新速度直接相关。因此,如果能让工程师加快模型迭代速度,那么模型性能也会提高。

  具体来说Pro-ML采用分层解决方案,目标是提高整个模型开发周期的效率,从模型探索和构建(Exploring and Authoring),到模型训练(Training)、模型部署(Deploying)、模型运行(Running),再到持续监控模型状态。领英希望把所有常规工作自动化,这样算法工程师就能更加聚焦于创新。

blob.png

  Pro-ML中有两个工具贯穿刚刚提到的所有阶段:一个是Feature Marketplace,另一个是Health Assurance Layer。在Feature Marketplace,领英使用先进的技术来生成、共享和管理新特征。AI建模的核心是特征工程(Feature Engineering),领英有数百名工程师和数万种正在研究的特征。提高工程师生成、共享和管理特征的效率,对于提高他们的工作效率至关重要。

  而Health Assurance Layer可以在整个开发周期中持续监控模型状态。比如,它确保用于模型训练的离线特征和用于在线推理的在线特征在统计意义上一致或近似,同时确保在线模型的良好性能。比如在预测分数的时候,工程师希望在线打的分与离线训练的分数精度一致。一旦Health Assurance Layer检测到异常,会自动提醒工程师,然后工程师可以介入,进行调试。Health Assurance Layer还提供了很多有用的工具,帮助工程师进一步确认问题所在。是代码出错?还是数据缺失?还是仅仅因为模型老旧,需要重新训练?

  Pro-ML提升效率的第一步——探索与授权

  建模过程实际上始于对问题的探索。目标是什么?目标函数是什么?有什么特征?数据有哪些?对于这些问题,工程师需要做无数个实验来探索数据,进行特征工程,调整模型和超参数。为了提高这一阶段的工作效率,领英构建了集成了 Pro-ML内核的Jupyter Notebook。在Jupyter Notebook的帮助下,工程师可以一步一步地进行数据探索、特征选择和模型绘制,并以交互的方式做实验。Jupyter Notebook由领英的Spark集群提供计算资源,这样工程师就可以在线完成工作而不需要把数据下载到本地,不仅提高了他们的工作效率,同时也保护了用户隐私。

blob.png

  为了定义模型,除了Jupyter Notebook,领英还构建了一种领域特定语言(Domain-specific Language, DSL)叫做Quasar。本质上来说,机器学习模型就是有向无环图(DAG),它定义了输入特征和在这些特征上的转换。Quasar DSL是领英用来定义模型的语言,它为建模者提供了几乎所有常见的特征转换函数。因此AI工程师们可以专注于新特征或者特征组合实验,而不需要书写大量重复代码来做特征转换。Quasar的另一个优势是离线训练出来的模型可以直接部署到线上,大大简化了模型从离线到在线的过渡。

blob.png

  多种工具高效协助模型训练

  众所周知,一个模型实际上有两个关键组成部分,一个是特征,另一个是算法。首先来看一下特征。如前所述,特征工程是AI建模的核心所在。在领英,为了提高学习效率,领英构建的框架Feature Marketplace可以让工程师可以有效地生成、发现、共享和管理特征。工程师可以将特征共享到Feature Marketplace上以便其他人使用,也可以按名称搜索特征,发现该特征并获取关于该特征的所有信息,例如特征的创建者、特征是如何生成的、特征应用在哪些领英的模型中以特征的统计分布等等,所有这些问题都可以在Feature Marketplace找到答案。Feature Marketplace还为工程师提供了诸多切实有用的工具,帮助工程师选择特征以及持续监控和验证特征。通过Feature Marketplace,工程师可以快速找到建模所需的特征。

blob.png

  不过,Feature Marketplace也面临着挑战:如何确保工程师能够得到他们所需要的么,比如在线和离线特征是一致的。如果做了大量离线实验,收集好的特征用于建模,那么这个模型可能会表现得很好,但不能保证在线的时候这个特征是稳定的,如果不稳定,那模型性能可能会下降。事实上,这种事故在过去几年屡见不鲜。为了解决这个问题,领英构建了一个工具称为Frame。Frame是一个基于相同配置和相同公共库离线和在线生成特征的平台,保证了离线和在线的一致性。领英向工程师提供操作细节,工程师只需要在Quasar模型中指定特征的名称,就可以保证在线和离线获取特征的一致性。

  特征集齐后就需要算法。领英支持深度学习、决策树算法、Generalized Linear Mixed Model (GLMix)等多种算法。在深度学习的场景中,领英使用Tensorflow;在决策树算法的场景中使用XGBoost,两者都是第三方库。对于GLMix,领英研发并开源了一个机器学习库叫做Photon。GLMix模型大大提高了职位推荐系统的性能,成功使职位申请数量增加了20%。

  根据特征和算法,领英构建了Photon Connect训练引擎,把上述所有组件连接起来。Photon Connect用Frame来访问特征,并将特征与标签数据连接起来,然后将数据传输至Quasar模型进行特征转换。在这个阶段,Quasar模型的参数是未知的,领英利用Quasar模型进行特征转换,然后使用算法来学习这些参数。学习到的参数会插入到Quasar模型中。这样,一个Quasar模型建模就完成了,它可以直接部署到线上服务中。

blob.png

  Health Assurance Layer保证算法顺利运行

  模型训练和部署完成后,最后一个问题是:当模型实际运行的时候,如何保持它能够正常运行呢?根据过去的经验教训,在开发的早期阶段越重视这个问题,越容易在实际运行时保证模型正常运行。因此,在模型探索和训练等早期阶段,领英的Health Assurance Layer提供了一系列工具,用于持续监控和验证。有人可能会问,在实际运行中,所有在线特征都可用吗?特征更新的速度是否足够快?实际上,如果出现任何异样, Health Assurance Layer 将通知相应的工程师,他们会介入进行调试。Health Assurance Layer为工程师提供了一系列工具,帮助他们快速锁定问题。

blob.png

  领英的机器学习与Pro-ML团队

  经过十年的快速发展和实验后,领英将人工智能团队与产品团队紧密地联系在一起,使机器学习团队能够与致力于解决类似难题的同行专家合作并分享最佳实践。

  类似地,Pro-ML团队围绕五个主要支柱构建,每个支柱都支持模型开发生命周期的一个阶段。通常,每个支柱都有一个负责人(通常是一名工程师)、一个技术负责人和几个工程师。这些工程师也来自各个组织,包括产品工程组织、基础/工具组织和基础架构团队。Pro-ML团队分布在世界各地,包括班加罗尔、欧洲和美国多个地方。领英还拥有一个领导团队,帮助制定项目愿景,并且最重要的是致力于消除摩擦,以便每一个支柱能够独立存在。

  Pro-ML将增加能够利用人工智能的产品数量,并扩大能够培训和部署模型的团队数量。此外,它将减少模型选择、部署等所需的时间,并使Health Assurance等关键领域自动化。领英现在已经花了一年多的时间来改造人工智能,使其能保持快速、高效和可操作性,扩展到所有工程领域。它让工程师有更多的时间去做他们最擅长的事情:利用领英独特的高度结构化的数据集,为棘手的技术问题找到创造性的解决方案。

  从 2014 年进入中国开始,领英不断地探索着中国这片独具特点的市场,在中国北京和美国硅谷从无到有,构建了一支超过100 人的本土研发团队,两地团队以“One Team”的形式协作,利用总部的技术资源优势,希望推动中国市场完成本地化产品与技术创新。未来领英也将进一步依靠 AI 和大数据技术升级优化用户体验。如果你也想加入领英中国这支强大的研发团队,欢迎点击下方链接/扫描二维码,查看并申请职位吧!

网友热搜:

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • Forrester发布机器学习报告, 创新奇智AutoML显身手

    近日,全球权威市场研究与咨询机构Forrester发布《Now Tech: Predictive Analytics And Machine Learning In China,Q3 2020》研究报告。创新奇智凭借领先的机器学习技术和快速商业化落地,强势入围中型机器学习厂商阵营,与IBM、SAP等国际巨头企业同列。Forrester是全球公认的可信赖咨询商,长期针对技术给业务和客户所带来的影响提供务实和具有前瞻性的建议。机器学习Now Tech报告对中国(包括在中国提供服务的国际公司)机器学?

  • 小米自研并开源!端上机器学习框架MACE将存放1000年

    7月17日消息,MIUI宣布小米自研并开源的端上机器学习框架MACE已经随着其他几百万个开源项目以数字光感档案胶片的形式被GitHub官方储存在北极代码仓库中,将保存1000年。1000年后的人类还能看到

  • 谷歌推出首款基于机器学习的古埃及象形文字翻译工具Fabricius

    【TechWeb】7月15日消息,今天,谷歌艺术与文化今天推出了全球首个基于机器学习的埃及象形文字的数字翻译工具Fabricius。不管是普通人还是学者都能利用这个工具体验象形文字,或者助力学术 研究。据谷歌介绍,这个工具推出选在今天,是因为今天是罗塞塔石碑(Rosetta Stone)的出土纪念日,罗塞塔石碑的发现首次解开了古埃及象形文字之谜。使用Fabricius来读懂古埃及象形文字方法非常简单。你可以通过六个简单步骤来“学习”古埃?

  • 谷歌推出首款基于机器学习的古埃及象形文字翻译工具 Fabricius

    ​谷歌艺术与文化今天推出了全球首个基于机器学习的埃及象形文字的数字翻译工具 Fabricius。不管是普通人还是学者都能利用这个工具体验象形文字。谷歌介绍,Fabricius 中包含了首个基于机器学习解码埃及象形文字的开源数字工具,以此更好的支持和推动古代语言研究领域的发展。

  • 九边形AI少儿编程打造家庭机器人智造套装,助力青少儿多维空间学习机器人

    在全民智能化的时代里,机器人教育不再只是高等教育的专项选择,愈发低龄化的趋势致使少儿编程教育变得十分火热,在激烈的少儿编程教育机构市场中,家长如何选择才能让孩子真正学到、学懂并加以运用?在机构上完课,孩子回到家是否还可以继续学习?针对这个难题,九边形AI少儿编程中心自主打造了一套家庭机器人智造套装,这套积木套装作为课堂以外的衍生产品,适合孩子在家学习,一方面,它可以用于家庭辅助陪伴孩子成长,另一方面,

  • 饭圈App能向Cameo学习什么?

    Cameo 成立于 2017 年,是一个用户付费给名人录制个性化视频的平台。包括 Snoop Dogg (也是投资者)、 Tituss Burgess 和 Stormy Daniels 在内的名人都在平台上设定了自己的收费标准,每个视频从 25 美元到 2500 美元不等。用户只需要附上要求:他们希望名人说什么,或者这条信息是给谁的。在几天甚至几个小时内,一个视频就到手了。

  • 协作机器人全球领导者——优傲机器人强势入驻大学仕

    当前,我国制造业还面临着一线员工流动率高、工人成本不断上涨、国内老龄化不断加大等诸多问题,要解决这些困难,就需要各种自动化设备来解放人类生产力。其中,性价比高、安全方便的协作机器人自然是重中之重。自十几年前协作机器人问世以来,它们便承担起了众多企业的自动化任务。协作机器人拥有传统机器人无法媲美的安全性和灵活性,因此成为了那只扇动翅膀就能在太平洋上掀起风暴的蝴蝶。如今,协作式机器人已经广泛应用于各行

  • 大鹏教育书法,为美好生活学习

    大鹏教育是一家利用互联网进行直播教学的教育品牌机构。大鹏教育开设设计、美术、书法、国画等多元化课程,满足了不同学员的学习需求。为了丰富了广大国学爱好者的精神文化生活,推出了大鹏教育书法学院。大鹏教育书法得到学员广泛喜爱~大鹏教育书法学院先后推出了楷书、隶书、行书、篆刻、硬笔书法等课程,得到了不同年龄段学员的广泛喜爱。大鹏教育采用伴随式学习的服务理念,在互联网空间内实现教育的全过程服务,通过直播授课+

  • 学而思网校:老师和家长及时沟通,共同助力孩子学习

    就在今年春季的带课过程中,我和一个孩子以及其家长,开始了持续长达三个多月沟通。我与他们的相识开始于一次调查问卷,春季刚刚带课,我为了了解班级里孩子们的整体学习情况,做了一个调查问卷,在最终看调查结果的时候,一个家长的问卷引起了我的注意,他的调查问卷上写得是孩子不清楚怎么听课和复习,并且上课从来没有记过笔记,更不会主动学习。我又看了看孩子的平时成绩都保持在 60 分左右,所以我决定和孩子妈妈沟通一下。 ?

  • 远东控股:学习标杆企业 塑造远东品牌

    近日,远东控股集团首席行政服务官庄太纬、集团品牌文化部负责人张笛携品牌团队参访江苏徐州工程机械集团有限公司(简称:徐工),特邀江苏徐工信息技术股份有限公司(简称:徐工信息)创始人、CEO张启亮作为特别嘉宾,在“远东大讲堂——制造业数字化转型赋能高级研修班”开班仪式上作交流分享,并作为教研团专家进行线上授课。张启亮发言在徐工信息,张启亮热情接待了庄太纬一行。他谈到,目前徐工信息业务范围覆盖数十个行业,?

  • 扫地机器人哪个牌子好?全网公认的精品扫地机器人十大排名

    品牌是核心竞争力的表现,没有品牌实力做支撑,就难以研发出好产品。对于扫地机器人行业而言,更是如此。随着多年的发展,扫地机器人早已经摆脱了早期粗放式的发展,如今不仅拥有更加自动化的清扫技术,还具备更多人性化的功能,这些技术的实现,背后没有一个强大的品牌是无法保障的。扫地机器人什么品牌好?今天我们就为大家介绍一些实力强大的品牌。一、斐纳TOMEFON斐纳(TOMEFON)扫地机器人 智能规划全自动家用吸尘器 扫地拖地一体机 激

  • 奇博士推出带“大脑”的AI机器人

    在4月11日-12日上海举办的中国互联网创新峰会上,IBM企业咨询以及新兴科技代表企业奇博士等数家科技企业均在现场做了精彩的演讲。 大会包含四大主题:新市场、新监管体系下互联网创新与发展;科技赋能行业所带来的机遇与挑战;具有前瞻性的“互联网+大健康”特色模式探讨;大数据+人工智能科技背景下,业务模式升级与变革。奇博士CEO庞文君在此次峰会上首次展示了其AI机器人最新解锁的纯TTS智能语音回访技能。 庞文君表示,该智能?

  • VIPKID严选北美好外教,打造丰富多样学习环境

    VIPKID是全球增长速度最快的在线青少儿英语教育品牌,纯北美外教1对1在线授课,通过互联网的方式将中国小朋友和北美老师连接。一直以来VIPKID坚持“北美好外教”的教学理念,保证外教的优质教学水平,赢得了很多家长的好评与孩子的喜爱。VIPKID纯北美外教1对1在线授课VIPKID引进国际权威教材与深度自主研发相结合,VIPKID MC主修课程教材和教学内容是根据美国CCSS(美国共同核心州立课程标准),结合中国学生特性,由业内具有资深?

  • 微商品牌崛起的背后,这几点值得学习

    ​最近芒果台的女团综艺节目《乘风破浪的姐姐》火了,和这档节目一起火起来的还有冠名商——美容护肤品牌梵蜜琳。和“奥利奥”“金典有机奶”“VIVO”等其他赞助商相比,观众们对这个 2015 年创立的品牌还不太熟悉,但是在微商界,它的崛起却可以堪称经典案例。

  • 能“护眼”的家教学习机,辅导作业不费力

    随着假期的到来,父母的精力也开始逐渐转移到孩子的暑期作业上,同时又考虑到孩子用眼健康的问题,大多数父母想必又开始焦虑了!这里告诉家长们一个好消息,目前一款名叫大力智能家教灯的产品已经开售啦,它不仅拥有护眼功能还有作业辅导功能,父母们终于可以对烦恼“say no”啦! 这款大力智能家教灯是通过国家最高规格审核的护眼灯,采用双灯头设计,照度更宽更均匀,再不怕抬头低头忽明忽暗,德国莱茵高标准蓝光护眼认证,避开?

  • 做私域流量,应该从微商品牌学习的13个方法

    ​最近,梵蜜琳凭借赞助《乘风破浪的姐姐》出圈了,随之而来的负面也不断,俗话说得好,人红是非多,梵蜜琳也是实锤红。

  • VIPKID英语,提高孩子学习成绩的线上良师

    在科技飞速发展的今天,教育已经不仅仅局限于线下,线上教育因为其方便、高效的特点,获得了很多家长与孩子的青睐。VIPKID英语作为一个专业的线上教育平台,拥有着很多忠实用户。VIPKID英语获得了家长与孩子们的青睐VIPKID英语创立于2013年底,致力于整合全世界最优秀的北美外教,通过1对1实时在线视频学习平台,把中国小朋友和北美外教进行连接,为中国小朋友提供极致、高效的英语学习体验,让小朋友在家就可以提升英语水平,接触

  • 黄子韬和机器人吵起来了是回事 具体情况介绍

    【黄子韬和机器人吵起来了】据媒体报道,黄子韬竟然和机器人吵起来了! 8 月 3 日讯,日前黄子韬工作室爆料出了黄子韬前往录制某说唱综艺节目时的途中趣事。

  • 机器人和无人机是如何改变人类配送方式的?

    目前,全球最大在线零售商亚马逊正将其送货机器人的试用拓展到美国更多州,已在佐治亚州和田纳西州增加了配送区域。副总裁肖恩·斯科特(Sean Scott)在博客上表示:“我们很高兴将Scout带入两个新社区。”事实上,随着机器人、自动化技术、人工智能的发展,配送服务变得越来越轻松和便捷。近几年,从初创公司到零售巨头,各种各样的公司都将目光聚焦到机器人配送上。比如亚马逊六轮机器人Scout,福特人型机器人Digit,星舰科技六?

  • 中国送餐机器人落地新加坡米其林餐厅!

    当送餐机器人遇见米其林特色小城菜,会碰撞出怎么样的火花?“即使尝遍全世界美食,也忘不了家乡的味道。”每个人都有自己舌尖上的家乡味道,即使去过更广阔的世界,接触过更多的美食,故乡美食的回忆也始终无法泯灭。 2000 年,出于对莆田家乡菜的牵绊,福建华侨方志忠在新加坡创立了莆田餐馆(PUTIEN) 。凭借着对食材品质的追求以及对地道本味的坚持,莆田餐馆三度摘得米其林一星餐厅的称号,获得蔡澜、林青霞等诸多名人的点赞?

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签