首页 > 传媒 > 关键词 > EnginePlus最新资讯 > 正文

EnginePlus受邀参加亚马逊云科技中国峰会 分享Spark on Amazon EKS实践经验

2021-07-30 14:11 · 稿源:站长之家用户

近日,亚马逊云科技中国峰会在上海召开。亚马逊云科技的众多技术合作伙伴受邀出席峰会,围绕“构建新格局,重塑云时代”的主题,进行了系列主题演讲和产品展示,分享云计算领域的先进技术经验与企业成功实践。

Mobvista汇量科技资深架构师、EnginePlus产品负责人陈绪也来到现场,与嘉宾们分享了在Amazon Elastic Kubernetes Service (Amazon EKS) 上部署Spark的干货经验,并以Mobvista汇量科技自身为例,介绍了Spark on Amazon EKS的业务实践成果。

Spark on EKS: 业务增长带来挑战

记者了解到,Spark 作为广泛应用的大数据处理框架,提供了丰富的Data Frame接口以及SQL查询的功能,同时也可以通过PySpark对接深度学习框架。据悉,汇量科技使用的Spark集群承担了大规模ETL、数据处理分析、Ad-hoc查询,以及算法模型训练的重要任务,现在离线计算集群有上万CPU核心,每日处理PB级的数据。

陈绪介绍道,其团队最初采用HDP,在EC2 上搭建了弹性的Hadoop服务,但随着业务规模的发展,更多的挑战开始显现:一方面,团队希望各业务线之间可实现资源隔离,同时具备高效的弹性能力,以保障业务产出时效性;另一方面,系统遇到大规模的临时查询作业时,查询数据量可达数十TB,这给集群的弹性伸缩带来了很大压力。对此,陈绪表示:“弹性伸缩的效率影响着作业执行时间和总体成本。因此,我们通过调研,开始尝试通过容器化的架构来解决上述问题。

汇量科技业务实践成果EnginePlus

陈绪介绍称,团队选择了Amazon EKS服务来搭建容器化Spark计算平台:“将不同的组件划分到若干不同的NodeGroup,包括Spark Driver、Spark Executor,以及Zeppelin、Jupyter的Notebook”,从而为不同类型的节点组配置不同的资源类型,并分别实现弹性伸缩,获得更好的性价比。

提到EC2 机型选择时,陈绪表示,对于大规模shuffle的作业,磁盘的IOPS和读写吞吐要求都很高,因此在大规模ETL集群中,团队会优先选择M5d、C5d、R5d等带有本地nvme磁盘的机型。在陈绪团队的生产集群上,IOPS可达到万级别,读写吞吐可以达到GB级别,而使用本地nvme磁盘机型,可以很好地解决磁盘性能瓶颈问题。此外,陈绪还从资源管理、作业状态和日志、版本和部分 bug修复等角度进一步探讨了Spark on Amazon EKS的业务实践,并为来宾们介绍了一系列技术实践的成果——汇量科技自研的一站式云原生大数据和人工智能平台EnginePlus。

据了解,EnginePlus 将数据湖、计算分析、人工智能集成在统一平台上,提供面向多种业务场景的实时数据湖框架 StarLake、机器学习框架 MindAlpha 等自研开源工具,并能够与 Spark 计算框架深度集成,其适用场景包括互联网金融、出海电商、移动广告等。

陈绪介绍称,在亚马逊S3 存储和EKS之上,EnginePlus部署了StarLake数据湖框架和Spark云原生计算框架,从而形成了湖仓一体的统一计算引擎。在天级大作业的迁移中,与Yarn相比,在Amazon EKS上部署Spark后,作业耗时大幅缩短。同时EnginePlus也针对容器化环境做了很多bug修复和易用性提升的开发工作,帮助用户更好更方便地在云上使用EnginePlus。

目前,EnginePlus已经上线亚马逊云科技Marketplace,助力全球企业实现新一代数据智能开发,解放业务生产力。未来,EnginePlus 将与亚马逊云科技携手并进,以其云原生、一站式数据智能的服务,赋能更多用户。

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务。

  • 相关推荐
  • 大家在看
  • EnginePlus朱亚东:跨越数据爆发式增长到智能处理之间的鸿沟

    当前,在全球企业“上云”浪潮热度不减的背景下,企业纷纷将目光聚焦智能升级,衍生数据量因此面临爆发式增长,对数据处理、人工智能等业务需求也日趋迫切。 6 月 25 日,记者与Mobvista汇量科技副总裁朱亚东基于汇量科技新一代“一站式云原生大数据AI平台”EnginePlus进行了一次深度交流。EnginePlus作为一站式的云原生大数据人工智能平台,可为客户提供面向多种业务场景的实时数据湖框架StarLake、机器学习框架MindAlpha等自主研

  • 亚马逊否认即将接受比特币付款

    据国外媒体报道,对于有媒体报道称今年亚马逊将接受比特币支付这个消息,当地时间周一,亚马逊方面出面进行了否认。

  • 亚马逊投诉 苹果App Store已下架Fakespot应用

    电商巨头亚马逊周五表示,其已就一款名为 Fakespot 的应用程序向苹果公司发起了投诉,理由是这款 App 无法准确识别平台上的骗子卖家和虚假评论。据悉,Fakespot 开发者宣称采用了人工智能技术来检索包括亚马逊、TripAdvisor、沃尔玛、以及 Yelp 等在内的网站,然后对虚假和激励性评论展开分析。遗憾的是,尽管 Fakespot 想要保护消费者免受误导信息的侵害,但还是已经被 App Store 给下架。至于近期加大虚假评论与好评返现整治力度

  • 亚马逊AWS开始封禁与Pegasus间谍软件有关的账户

    亚马逊网络服务(AWS)已经禁止NSO Group,即Pegasus间谍软件项目背后的公司的相关网络服务。这是在一份全面指称Pegasus被用来攻击人权活动家和记者的报告发表后的第二天。民权组织与媒体对Pegasus的调查称,通过AWS和亚马逊CloudFront等商业服务路由数据对受害者发起攻击,且此举"保护NSO集团免受一些互联网扫描技术的影响",2020年的一份报告之前描述了NSO使用亚马逊服务。民权组织曾就NSO联系过亚马逊,亚马逊的回应是禁止与NSO

  • 亚马逊否认接受比特币支付:推测不实

    凤凰网科技讯 北京时间7月27日消息,亚马逊公司周一否认了伦敦报纸《CityAM》的一篇报道,该报道称亚马逊打算在今年年底以前接受比特币支付。受到该报道推动,比特币价格一度飙升14.5%。亚马逊发言人称:“尽管我们对这一领域感兴趣,但是对于我们的加密货币具体计划的推测并不属实。我们依旧专注于研究加密货币在亚马逊顾客购物上的潜在应用形式。”亚马逊在7月22日发布招聘公告,招募一位数字货币和区块链产品负责人。(作者/箫雨

  • 被禁品牌Aukey被发现仍在亚马逊上销售耳机

    外媒The Verge发现,当亚马逊开始打击有刷单行为的移动电子产品公司时,Aukey(傲基)和Mpow是第一个遭受打击的,但Aukey仍在这家大型在线零售商网站上销售至少三款无线耳机。两周前,The Verge记者向亚马逊公关部指出,Aukey和Mpow似乎都找到了绕过禁令的办法。Mpow仍在销售一款 "xMpow MFly "无线蓝牙耳机,而Aukey则在销售其“Key Series ”子品牌下是几套不同的产品。此后,The Verge记者一直在关注他们的产品页面,并在周日注

  • 苹果AirTag配件的三种新颜色现身亚马逊

    在亚马逊的列表中,购物者可以发现卡普里蓝、粉红柑橘和梅耶柠檬的苹果AirTag配件被列出,但还没有到可以发货的时间点。Twitter用户Epictechh发现了这些新产品列表,看起来它们将在8月底向消费者发货。目前还不清楚为什么它们会被列出来,似乎是亚马逊提前将个别商品上架展示。本次列出的新品总共有四个:分别是三个AirTag皮革环,一个钥匙环,所有物品都被列为由亚马逊销售,而不是由第三方卖家销售。产品细节:卡普里蓝的AirTag

  • 亚马逊投诉后 监测服务公司Fakespot应用被App Store下架

    据外媒报道,以分析热门网站的评论以确定其准确性而闻名的Fakespot,周五遭苹果的App Store下架。据The Verge报道,亚马逊向苹果发出了移除请求,导致该应用被下架。Fakespot的iOS应用在6月刚刚推出,其目的是让用户登录亚马逊并购买商品,同时使用Fakespot引擎来分析评论。亚马逊表示,Fakespot的应用在未经许可的情况下“包装”了网站,而且该应用有可能被利用来窃取亚马逊的客户数据。亚马逊在6月发出了最初的删除通知,而周五?

  • 亚马逊的 Fire TV Cube 现支持 Zoom 视频会议

    亚马逊今天宣布,第二代 Fire TV Cube 现在能够实现双向 Zoom 视频通话。去年年底,公司添加了 Fire TV Cube 和 Alexa 智慧屏幕之间的视频通话,而且 Zoom 还为在电视上主持虚拟聊天和工作电话提供了更多的可能性。这需要使用到适用于 Fire TV 的 Zoom 应用程序、Fire TV 和网络摄像头。此外用户还需要满足一些最低要求:“你将需要使用Micro USB转USB适配器,将支持USB视频类(UVC)的网络摄像头连接到你的Fire TV Cube,分辨率至

  • 亚马逊应用商店不久将支持Android应用捆绑包

    从8月份开始,谷歌将要求提交给Play Store的新应用程序采用Android应用程序包(AAB)格式,而不是迄今为止使用的APK。亚马逊不会被落在后面,该公司宣布,它正在为Appstore开发AAB支持(这也是Windows11上Android应用的默认来源)amazonappstore将继续接受开发者提交的APK,事实上提交过程不会改变。捆绑包与apk相比有几个优势,因为它们可以实现较小的应用程序下载,并支持按需加载等动态功能然而,并不是所有捆绑包的特性都可以?

  • 亚马逊将让客户对三个Echo Dot概念设计进行投票

    今天上午亚马逊宣布推出其下一波Build It计划,一个利用客户预购数据来帮助公司决定下一步将哪些产品推向市场的计划。Build It新计划中心是与时装设计师和慈善家Diane von Furstenberg合作创造的三个限量版Echo Dot概念产品。从今天开始,客户可以以每件60美元的价格预购一个或多个设计。无论这三个设计中的哪一个在未来30天内达到预购目标,亚马逊都将把它们投入生产,并在完成后把完成的产品运送给客户。为了讨论她的Echo Dot概?

  • FCC批准亚马逊开发基于雷达的睡眠追踪器

    对于公司开发和销售含有雷达技术的消费级设备,美国联邦通信委员会(FCC)设置了非常高的门槛并对相关申请进行严苛审查。因为该组织担心,允许此类商品不受限制的销售可能会对“对[雷达]频段的授权用户产生有害干扰”。2018年,FCC 经过严苛审查之后允许在 Pixel 智能手机上使用雷达技术。FCC 近日为亚马逊亮起绿灯,审查发现亚马逊的雷达设备能在与Google设备“相同的功率水平和技术参数”下运行。而且在 FCC 看来,亚马逊的产品?

  • 净资产1.27万亿!贝佐斯今天正式卸任亚马逊CEO

    美国当地时间周一,杰夫贝佐斯正式卸任亚马逊公司CEO一职,目前负责亚马逊云计算业务的安迪贾西将接任。彭博亿万富翁指数显示,贝佐斯卸任亚马逊CEO时的净资产为1970亿美元(约合1.27万亿人民币),其中主要包括其所持有的亚马逊股份和其他资产。据了解,贝佐斯此前曾在声明中称:作为执行董事长,将继续参与亚马逊的重要活动,但我也将有更多时间和精力专注于第一天基金、贝佐斯地球基金、蓝色起源公司、《华盛顿邮报》和其他项目

  • 知名模拟器前端RetroArch上架亚马逊AppStore

    知名模拟器前端 RetroArch 近日宣布上架亚马逊 AppStore,这意味着任何拥有 Fire TV 或者 Fire 平板的人都可以轻松下载和使用该应用程序,而不需要求助于侧载或者其他变通方法。理论上,该模拟器前端可以在旧 Fire 平板上使用,但由于硬件要求因此在性能上不要有太高的期望。RetroArch 本身并不是模拟器,它只是一个平台,从技术角度来说是一个前端。它的流行来自于两点:第一,它提供统一的界面和体验,无论你想模拟哪个游戏平台?

  • 报道称亚马逊要求以低于市场价的价格购买其供应商的部分股份

    据《华尔街日报》报道,亚马逊要求供应商让它以通常低于市场估值的固定价格购买供应商多达30%的股份。据《华尔街日报》报道,在过去10年中,亚马逊在与为其提供飞机、Amazon Fresh杂货和呼叫中心服务的公司签订的合同中加入了此类规定超过75次。根据亚马逊最新的季度财务文件,其在其他公司的潜在股权价值近30亿美元。这类交易被称为认股权证,其功能类似于授予公司员工的股票期权。亚马逊获得了以某一价格购买其供应商股票的选择?

  • 亚马逊新任CEO升迁史:曾有望接替鲍尔默出任微软CEO

    7月5日,安迪·雅西(Andy Jassy)将出任亚马逊CEO,他也将是亚马逊历史上的第二任CEO。在此前的15年中,雅西将亚马逊云计算服务打造成一项年营收达约400亿美元(约合人民币2588亿元)的业务。雅西以对客户体验的执着,以及对下属的严要求闻名,他接替强硬的杰夫·贝佐斯(Jeff Bezos)出任亚马逊可谓水到渠成。

  • Kindle、Fire Phone、Echo之后,智能健身镜或将成亚马逊的硬件后手招

    最近,当国内舆论还在对智能健身是不是伪需求而争论的时候,全球范围内诞生了第二家智能健身上市公司。背后拥有詹姆斯、阿诺·施瓦辛格、辛迪·克劳馥等明星股东站台的Beachbody,于不久前通过SPAC的方式IPO成功。相比之下,在中国的智能健身市场,尽管已经拥有FITURE这样的独角兽,但离产生上市公司还差很远。不仅于此,全球范围内,在软硬、L Catterton等顶级资本的加持下,除了Peloton、Beachbody这两家上市公司以及被lululemon

  • 股讯 | 乐观财报拉升美股 亚马逊营收3年来首次不达标

    纳指涨0.11%,报收14778.26点凤凰网科技讯 北京时间7月30日消息,乐观的企业财报,以及分析师认为GDP增幅不及预期意味着美联储不会立即叫停宽松政策,拉动美股上涨。截至收盘,道指涨153.6点,涨幅为0.44%,报收35084.53点;标普500指数涨18.51点,涨幅为0.42%,报收4419.15点;纳指涨15.68点,涨幅为0.11%,报收14778.26点。美国主要科技巨头涨跌互现:美国主要科技巨头中国主要科技股大多数上涨:中国主要科技股中概股股价上涨的

  • 亚马逊否认将于年底前接受比特币等加密货币支付

    「尽管我们对这一领域感兴趣,但随之围绕我们对加密货币具体计划的揣测并不真实,」亚马逊一位发言人说。「我们仍然专注于探索这对于亚马逊的顾客来说可能是什么体验。」

  • 美共和党人呼吁亚马逊就其与五角大楼的关系作证

    据外媒The Verge报道,美国共和党人正在质疑亚马逊与五角大楼的关系,因为新公布的电子邮件显示,国防官员在特朗普执政期间赞扬了争夺100亿美元合同的科技主管。周二,《纽约时报》报道了此前未公布的电子邮件,这些电子邮件显示,五角大楼官员在亚马逊公司于2017年至2018年期间寻求一份利润丰厚的国防合同时对该公司高管表示赞赏。联合企业防御基础设施项目(JEDI)旨在寻找一家科技公司,将国防部的计算机网络转移到云端。《纽约时

  • 热门标签

热文

  • 3 天
  • 7天