站长之家首页 > 传媒 > 金山云最新资讯 > 正文

大数据时代 金山云容器引擎实践为用户创造更多价值

2020-02-28 11:06 · 稿源:站长之家用户投稿

随着云原生技术的加速普及,Kubernetes逐渐成为IT技术架构的基石,并推动着各行业技术架构的转型升级。在《InfoQ 编辑部开年聊聊2020 年值得关注的十大技术趋势》报道中,写到其中一个趋势是容器化加速席卷大数据基础架构。

今天,我们就分享下金山云容器引擎在大数据平台的应用实践。

大数据平台拥抱Kubernetes 金山云容器引擎应需而生

众所周知,Hadoop的出现加速大数据技术的应用推广,随着应用场景的不断丰富,近几年也涌现出多款优秀的计算框架,如Spark、Flink等。此前在大数据分布式调度平台中,大家普遍采用是Yarn,但是随着应用场景丰富和规模扩大,平台逐渐暴露出一些问题,如资源隔离限制较弱、监控信息不完善、弹性扩展能力弱、GPU支持不足等。

随着容器化的快速发展,大数据原有的Hadoop Yarn分布式任务调度模式,正在被基于Kubernetes的技术架构所取代。容器凭借轻量秒级部署、一次构建、处处运行的巨大优势,推动了快捷、自动化的工作流程,同时Kubernetes提供的强大编排能力以及蓬勃发展的社区生态,为大数据容器化提供了便捷的平台。

大数据系统原生支持on Kubernetes,例如Spark 从官方2. 3 版本开始就可以无需任何修改直接运行在 Kubernetes 上,这是一个里程碑式的事件,表明了未来技术架构的发展方向。

1.jpg

容器引擎是金山云推出的Kubernetes服务产品,基于原生的Kubernetes进行开发和适配,无缝融合了金山云生态的其他基础资源和产品服务。

目前,金山云容器引擎覆盖主流应用的多版本Kubernetes,支持一键式创建,多可用区高可用部署,同时提供旧版本的一键升级功能,持续保护用户资产;集成云平台能力,如网络方案(Flannel和Canal)、持久化存储(块存储和文件存储)、安全(多租户隔离和主机加固)等;镜像仓库支持对Docker hub、gcr.io镜像加速,高速内网下载镜像, 11 个 9 的可靠性保证;在控制台支持Kubernetes 的软件包管理工具Helm,提供金山云官方Helm Chart,支持在线可视化部署Helm应用。

此外,金山云容器引擎大幅降低了Kubernetes的使用门槛和综合成本,让用户开发团队更专注自身业务。

统一管理、弹性伸缩 为用户创造更多价值

由于大数据应用的复杂性,会使用多种类型的机型作为Work节点,如利用云主机应对快速的流量扩容、利用云物理服务器提供无性能损耗能力、利用云GPU服务器的大规模线程和高速计算力优势等等,来满足计算的需求。

金山云容器引擎提供混合集群的统一管理服务,在一个集群可以实现多种类型节点的统一管理,通过Label的设置可以实现对整体资源的统一调度部署,避免了多个集群的使用,一方面大幅降低了使用成本,另一方面有效提升管理效率。

大数据业务对计算的需求是动态的,并且波动较大,金山云容器引擎支持Cluster AutoScaler实现集群工作节点的弹性伸缩,节省开支。目前,金山云容器引擎本身免费对外提供使用,同时提供免费的企业级容器镜像仓库服务,用户仅需支付所使用资源的费用,工作节点支持预付费包年包月、按日配置付费、按小时配置计费等灵活的计费策略选择。

2.jpg

整体框架图

大数据云平台利用容器引擎集群、云物理机集群、云服务器集群构建大数据控制平台和共享服务资源池,为用户提供租户隔离、安全可靠的大数据托管服务。

3.jpg

大数据平台在容器引擎的部署方案如上图所示:

1、在endpoint容器引擎集群中部署微服务架构,如:数据管理(元数据管理、数据权限、数据质量、数据地图等)、数据服务、数据采集,共享的组件mysql ,redis等基础服务。

2、在online/offline容器引擎集群中部署的大数据组hive、spark、flink、hbase、kafka、zookeeper、ElasticSearch等,目前hive、hbase等用的是HDFS存储,而zookeeper、ElasticSearch、kafka用的是NFS、KS3 存储。

目前,金山云大数据平台已使用容器引擎平台部署在线和离线的业务,支持海量数据处理,在整个过程双方团队积累了丰富的大数据使用经验,持续在spark on kubernetes的动态资源、kube-scheduler调度策略等方面进行优化,升级产品功能,并赋能更广泛的大数据相关用户,为用户创造更多价值。

作为CNCF基金会黄金会员之一,金山云致力于推动基于容器技术的云原生产品方案落地实践。目前,金山云已通过CNCF Kubernetes服务提供商认证,容器引擎已通过CNCF Kubernetes一致性认证以及可信云容器解决方案认证和可信云Kubernetes认证。此外,金山云拥有CNCF CKA、CKAD认证的高级技术专家团队,为用户提供专业的产品和服务支持。

4.jpg

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 大家在看
  • 相关推荐
  • 金山应急物资管理系统和HIS系统获得客户高度认可

    2 月 28 日,金山云收到来自石家庄市商务局的感谢牌匾和来自桦甸市胜利社区卫生服务中心的感谢信,客户对金山云在疫情防控期间提供的产品和服务给予了高度肯定和认可。“特殊时期、特殊情况,诚挚感谢金山云的鼎力支持和热情服务!”在抗击疫情期间,石家庄市商务局对金山云“应急物资管理系统”给予了很高的评价。为解决抗疫过程中所面临的应急物资调配效率问题、捐赠物品的去向跟踪问题、城市生活必需品的供应能力问题等,金山云?

  • 金山携手德塔共筑“社区防控”助力社区信息化建设

    3 月 5 日由民政部办公厅、中央网信办秘书局、工业和信息化部办公厅、国家卫生健康委办公厅联合印发《新冠肺炎疫情社区防控工作信息化建设和应用指引》(民办发〔2020〕 5 号,以下简称《指引》);《指引》从疫情监测和重点人群管理、出入管理、信息报送、宣传教育、环境整治、困难帮扶和社区服务等七个方面提出了社区防控工作信息化建设和应用的基本思路;从部署条件、系统安全、隐私保护、公益原则等四个方面,明确社区防控工作信?

  • 金山直播加速产品入围“科技冬奥、智慧北京”十佳名单

    近日,由北京市科学技术委员会、北京市经济和信息化局、中关村科技园区管理委员会、北京市海淀区人民政府,共同组织开展的“科技冬奥、智慧北京”技术产品与创意设计方案征集活动评选结果正式对外公布。其中,“金山云流媒体直播加速产品”入围本次活动评选的“十佳优秀技术产品”名单。本次主题征集活动旨在支撑和服务冬奥,推动新一代信息技术应用,围绕“5G、AI、云计算、大数据、区块链、物联网、AR/VR、北斗”等领域,以提高?

  • 亚马逊取消4月14日在旧金山举行的计算大会

    3月11日消息,亚马逊正式取消了原定在4月14日旧金山莫斯克尼中心南区举行举行的云计算大会,去年这个大会吸引了来自全球超过6000名的参与者。在此之前包括谷歌、Facebook、英伟达等多家公司取消了三月和四月的多场大会,同时也限制员工出差旅行,并鼓励员工在家远程办公。

  • 金山上线一码通平台 提升社区疫情防控成效

    新冠肺炎疫情爆发以来,党中央、国务院高度重视,习近平总书记多次召开会议做出指示、批示,国务院建立机制推进疫情防控和复工复产相关工作。为贯彻习近平总书记系列讲话精神,落实国务院统一工作部署,民政部办公厅、中央网信办秘书局、工业和信息化部办公厅、国家卫生健康委办公厅于近日联合印发《新冠肺炎疫情社区防控工作信息化建设和应用指引》,要求各地推进社区防控信息化建设和应用工作,减轻城乡社区工作者工作压力。基于

  • 金山与荣华控股达成战略合作 布局智慧人居生态建设

    近日,优酷《战疫情》专题,重点推出国家预防灾害文化建设公益宣传片《珍惜》系列之“为疫情防控加油”!该片共分两部分:一部分是 4 分 49 秒的完整版。其中有著名作家艾克拜尔?米吉提,著名主持人董浩,著名演员马景涛、于月仙、祝延平、李明、冯雷等,著名装置及雕塑家魏得胜,模特贾晨宇、闫妍,预灾联盟志愿者刘晓倩等 32 人。另一部分,是为了更好更快地传播“战疫”正能量而剪辑的 32 支时长约 28 秒左右的短视频。作为国家?

  • 金山边缘计算助力爱奇艺,冲进30毫秒高速区

    1. 爱奇艺在金山云部署边缘服务边缘计算是近期较流行的技术概念,边缘计算其离不开“低延迟”和“海量并发连接”,爱奇艺和金山云本次成功地将概念变为产品实践。降低网络延迟能把用户拉入植物神经都无感的 30 毫秒舒适区;低延迟快速交互又极易出现瞬时大并发,我们需要将用户访问分散隔离到不同的边缘节点。爱奇艺在金山云边缘(以下简称KENC)部署了DOH(DNS over HTTPS)服务,受益于KENC边缘容器云的稳定性能和强大功能,爱奇艺DoH

  • 金山新基建蓝图初显:加码新科技布局 释放经济新动能

    作为国家重大战略部署的“新型基础设施建设”(以下简称“新基建”)正在加速推进。近期,中央决策层通过密集部署,强调加快5G网络、数据中心、人工智能和工业互联网等新型基础设施的建设步伐。在数字经济强势崛起的大背景之下,新基建的意义无需赘言,随着新一代信息技术的大规模、普遍化应用,不仅能够带动各行各业的数字化转型,更能够培育新动能,创造广阔的新消费、新制造、新服务等新兴业态空间,是建设现代化经济体系,促进产

  • 金山推出AI疫情防控平台 三大特点筑牢战疫防线

    当前正值疫情防控的关键时期,疫情时时刻刻牵动人心。在这场没有硝烟的战争中,新一代信息技术已成为疫情防控的坚实堡垒和战“疫”的强力武器。为了协助各相关单位提高人员密集场所的人员检测效率,金山云突击开发的“AI防疫检测方案”,可在各个人流聚集场所快速部署,实现非接触式的口罩未佩戴告警及体温快速检测,广受客户好评。面对不断增长的客户需求,为更好应对当前疫情防控的严峻形势,“AI防疫检测方案”的升级版“金山云

  • 金山联合艾瑞咨询发布AIoT白皮书  千亿市场将现“巨头”

    随着5G的加速成熟,人工智能和物联网技术的蓬勃发展,越来越多应用场景将在智能终端和传感器中产生,由此产生的丰富大数据,成为智能化时代建设的新燃料,这让AIoT 展现出极大市场价值,并成为吸引众多玩家进入的新赛道。近日,为了全面了解AIoT 市场,准确捕捉市场需求和发掘市场机会,金山云联合艾瑞咨询发布《 2020 中国智能物联网AIoT白皮书》,分别从AIoT现状、中国AIoT主要应用场景需求和市场分析、未来发展趋势等三大维度进

  • 网易技术后盾“浙江省朗和容器与微服务研究院”获评“省级企业研究院”

    日前, 2019 年度浙江省级企业研究院名单正式公布,经评审、公示,浙江省科技厅、浙江省发改委、浙江省经信厅共同认定网易集团旗下"浙江省朗和容器云与微服务研究院"为"省级企业研究院"。▲浙江省科技厅发布 2019 年省级企业研究院名单▲ 2019 年省级企业研究院名单,"浙江省朗和容器云与微服务研究院"名列其中浙江省朗和容器云与微服务研究院以云计算技术为核心技术。除了为网易内部业务提供服务外,研究院更依托网易云这一平台,

  • Uber在旧金山恢复自动驾驶汽车测试

    就在Uber获得加州机动车辆管理局(DMV)许可在公共道路上测试无人驾驶汽车一个多月后,该公司恢复了在旧金山的自动驾驶汽车测试。Uber表示,在完成代码库和基础设施升级的同时,它将把上路时间限制在“几周”之内。

  • 微软允许旧金山和西雅图员工疫情期间在家办公

    据外媒报道,由于新冠病毒疫情持续蔓延,微软允许并鼓励其员工在家工作。这家软件巨头已经更新了员工守则,允许任何在西雅图或旧金山工作的员工在家中办公到3月9日。

  • 华为鲲鹏手机

    华为云鲲鹏云手机是基于云鲲鹏裸金属服务器,虚拟出带有原生安卓操作系统,同时具有虚拟手机功能的云服务器。简单来说,华为云鲲鹏云手机=云服务器+Android OS,本质是将手机上的应用转移到云上的虚拟手机来运行。作为一种新型应用,云手机对物理手机起到了非常好的延伸和拓展作用,可以用在如应用智能托管、云手游、众播互娱、移动办公等场景。

  • 签约、招商、授课......你离上生意还差一个TA

    万物皆可“云”。疫情之下,云上生意如春笋般涌现,千行百业无意识掀起的自救行动,汇聚成产业潮流,部分边界也在这个过程被打破,云上与云下的差别似乎不再那么重要。然而云上生意毕竟是匆忙上马,相关技术与客户认知、产业成熟度并不完全匹配,也存在这样那样的问题,作为云上生意的代表媒介,视频会议等一批行业爆发,而随着行业试水程度越来越深,对智能办公平台的要求也越来越高。云上生意无疑会成为未来产业升级的发展方向,

  • 金山办公公告:聘任雷军为公司名誉董事长

    金山办公公告称,公司于 3 月 24 日召开第二届董事会第六次会议,审议通过《关于聘任公司名誉董事长的议案》,同意聘任雷军为公司名誉董事长。雷军目前担任公司董事、战略委员会委员职务。雷军担任名誉董事长后,不享有作为董事以外的其他权利、承担其他义务,不因担任名誉董事长而在公司领取薪酬。

  • 因旧金山宣布实施“封城”措施 Apple Park员工被告知“就地避难”

    据外媒AppleInsider报道,当地时间周一,旧金山湾区的六个县向居民发布了一个“就地避难”(shelter in place )命令,以阻止COVID- 19 的传播,这可能会影响加州库比蒂诺Apple Park的员工。

  • 金山文档月活用户突破2.39亿 支持365人同时在线编辑

    今天,金山文档正式宣布月活用户突破2. 39 亿,单个表单可支持 100 万人次填写,并且支持 365 人同时在线编辑。公开资料显示,金山文档上线于 2018 年 7 月,是金山办公旗下一款可多人实时协作编辑的文档创作工具软件。

  • 金山文档宣布月活跃用户突破2.39亿,曾在2018年独立上线

    3月3日消息,金山文档正式宣布月活跃用户突破2. 39 亿。金山文档于 2018 年 7 月独立上线,是金山办公旗下专注多人协作的在线文档产品。在不久之前,腾讯文档也正式宣布月活跃用户突破1.6 亿。腾讯文档自 2018 年 4 月独立上线以来,用户已累计创建超 5 亿份文档。

  • 金山云云游戏试玩平台上线 邀您畅玩3A大作

    5G大带宽、低时延的特性,让云游戏焕发出新的活力,而继谷歌云游戏平台Stadia的上线和各大游戏厂商的加码,让人们对更多云游戏解决方案的落地充满期待。在此背景下,金山云在行业率先投入游戏解决方案研发,并于 27 日正式上线云游戏试玩平台,通过采用高配置,与知名IP绑定合作等形式,为玩家提供即点即玩的云游戏畅享体验,通过联合云游戏生态企业,提供覆盖IaaS,PaaS,SaaS的全栈式云游戏解决方案。3A大作即点即玩 多端无缝切?

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议