首页 > 传媒 > 关键词 > 金山云最新资讯 > 正文

大数据时代 金山云容器引擎实践为用户创造更多价值

2020-02-28 11:06 · 稿源:站长之家用户投稿

随着云原生技术的加速普及,Kubernetes逐渐成为IT技术架构的基石,并推动着各行业技术架构的转型升级。在《InfoQ 编辑部开年聊聊2020 年值得关注的十大技术趋势》报道中,写到其中一个趋势是容器化加速席卷大数据基础架构。

今天,我们就分享下金山云容器引擎在大数据平台的应用实践。

大数据平台拥抱Kubernetes 金山云容器引擎应需而生

众所周知,Hadoop的出现加速大数据技术的应用推广,随着应用场景的不断丰富,近几年也涌现出多款优秀的计算框架,如Spark、Flink等。此前在大数据分布式调度平台中,大家普遍采用是Yarn,但是随着应用场景丰富和规模扩大,平台逐渐暴露出一些问题,如资源隔离限制较弱、监控信息不完善、弹性扩展能力弱、GPU支持不足等。

随着容器化的快速发展,大数据原有的Hadoop Yarn分布式任务调度模式,正在被基于Kubernetes的技术架构所取代。容器凭借轻量秒级部署、一次构建、处处运行的巨大优势,推动了快捷、自动化的工作流程,同时Kubernetes提供的强大编排能力以及蓬勃发展的社区生态,为大数据容器化提供了便捷的平台。

大数据系统原生支持on Kubernetes,例如Spark 从官方2. 3 版本开始就可以无需任何修改直接运行在 Kubernetes 上,这是一个里程碑式的事件,表明了未来技术架构的发展方向。

1.jpg

容器引擎是金山云推出的Kubernetes服务产品,基于原生的Kubernetes进行开发和适配,无缝融合了金山云生态的其他基础资源和产品服务。

目前,金山云容器引擎覆盖主流应用的多版本Kubernetes,支持一键式创建,多可用区高可用部署,同时提供旧版本的一键升级功能,持续保护用户资产;集成云平台能力,如网络方案(Flannel和Canal)、持久化存储(块存储和文件存储)、安全(多租户隔离和主机加固)等;镜像仓库支持对Docker hub、gcr.io镜像加速,高速内网下载镜像, 11 个 9 的可靠性保证;在控制台支持Kubernetes 的软件包管理工具Helm,提供金山云官方Helm Chart,支持在线可视化部署Helm应用。

此外,金山云容器引擎大幅降低了Kubernetes的使用门槛和综合成本,让用户开发团队更专注自身业务。

统一管理、弹性伸缩 为用户创造更多价值

由于大数据应用的复杂性,会使用多种类型的机型作为Work节点,如利用云主机应对快速的流量扩容、利用云物理服务器提供无性能损耗能力、利用云GPU服务器的大规模线程和高速计算力优势等等,来满足计算的需求。

金山云容器引擎提供混合集群的统一管理服务,在一个集群可以实现多种类型节点的统一管理,通过Label的设置可以实现对整体资源的统一调度部署,避免了多个集群的使用,一方面大幅降低了使用成本,另一方面有效提升管理效率。

大数据业务对计算的需求是动态的,并且波动较大,金山云容器引擎支持Cluster AutoScaler实现集群工作节点的弹性伸缩,节省开支。目前,金山云容器引擎本身免费对外提供使用,同时提供免费的企业级容器镜像仓库服务,用户仅需支付所使用资源的费用,工作节点支持预付费包年包月、按日配置付费、按小时配置计费等灵活的计费策略选择。

2.jpg

整体框架图

大数据云平台利用容器引擎集群、云物理机集群、云服务器集群构建大数据控制平台和共享服务资源池,为用户提供租户隔离、安全可靠的大数据托管服务。

3.jpg

大数据平台在容器引擎的部署方案如上图所示:

1、在endpoint容器引擎集群中部署微服务架构,如:数据管理(元数据管理、数据权限、数据质量、数据地图等)、数据服务、数据采集,共享的组件mysql ,redis等基础服务。

2、在online/offline容器引擎集群中部署的大数据组hive、spark、flink、hbase、kafka、zookeeper、ElasticSearch等,目前hive、hbase等用的是HDFS存储,而zookeeper、ElasticSearch、kafka用的是NFS、KS3 存储。

目前,金山云大数据平台已使用容器引擎平台部署在线和离线的业务,支持海量数据处理,在整个过程双方团队积累了丰富的大数据使用经验,持续在spark on kubernetes的动态资源、kube-scheduler调度策略等方面进行优化,升级产品功能,并赋能更广泛的大数据相关用户,为用户创造更多价值。

作为CNCF基金会黄金会员之一,金山云致力于推动基于容器技术的云原生产品方案落地实践。目前,金山云已通过CNCF Kubernetes服务提供商认证,容器引擎已通过CNCF Kubernetes一致性认证以及可信云容器解决方案认证和可信云Kubernetes认证。此外,金山云拥有CNCF CKA、CKAD认证的高级技术专家团队,为用户提供专业的产品和服务支持。

4.jpg

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 金山云问道云游戏 从游戏云化到云原生

    【TechWeb】以5G等为代表的新一轮技术变革,将萌芽于2000年,经过了近20年发展的云游戏带到现实。围绕云游戏开发、多人实时交互的沉浸式用户体验以及云游戏内容开发方面的话题将成为行业重要命题,并为云游戏从业者打开一个崭新的世界。7月31日,金山云游戏云事业部副总经理黄康受邀出席全球云游戏产业大会,并重点对云游戏技术,云游戏平台,原生云游戏开发和云游戏商业模式等角度进行深入解析和观点分享。金山云游戏云事业部副?

  • 金山云陈海彪:沉浸式云服务是视频云未来的发展方向

    7 月 15 日,在 2020 第八届亚太内容分发大会上,金山云CDN及视频云产品中心副总经理陈海彪发表了《5G时代,沉浸式视频云进阶探索》的主题演讲,分享了金山云在沉浸式视频云方面的探索和思考。陈海彪表示,回顾移动通信发展历程, 从1G到5G,人们的交互方式从音频、文字、图片,发展到短视频、高清视频。未来,随着4K、8K、VR交互体验的升级,全网的视频流量将会持续提升,视频向高清化、高互动、高实时的“三高”发展变成可能。?

  • 金山云斯文:算力下沉,打造普适的、离你更近的边缘计算

    “5G时代,是边缘计算的时代”, 7 月 15 日,在 2020 第八届亚太内容分发大会上,金山云边缘计算产品线总经理斯文在分享《金山云边缘计算的思考与实践》开篇时这样讲到,第三方数据预测在未来80%的算力将下沉到边缘。 斯文表示,对延时和带宽要求的高低,是判断一个应用场景是否适合下沉到边缘两大重要因素。5G时代,计算将不再是传统的CS模式而将加入边缘层,成为家庭端、边缘端、云端三层协同架构。目前,金山云正在做的是,普

  • 金山云与创显科教签订合作协议 从“AI”探索智慧教育

    7 月 17 日,金山云与广州创显科教股份有限公司(以下简称“创显科教”)正式签订智慧教育合作协议,双方将发挥各自优势,共同打造智慧教育平台,并积极探索AI+IoT在智慧教育市场的应用和落地。 创显科教副总经理、研发总监麦勇,金山云视频云营销中心副总经理孙少伟,创显科教技术总监陈文光,创显科教产品部经理李淑仪,金山云视频云营销中心销售总监由晶,金山云视频云营销中心销售经理黄煜恒,金山云解决方案架构师刘相龙出席了

  • 金山云张斯聪:探索沉浸式解决方案 提升教育云上体验

    “5G低延迟、高带宽、高并发的特点,将极大推动音视频沉浸式体验的提升。我们一直在互动互联、高清视频、人工智能等技术领域蓄力,以提升教育云上体验。”金山云CDN与视频云产品总负责人张斯聪在日前举办的5G+创新教育高峰论坛上这样讲到。 金山云CDN与视频云产品总负责人张斯聪 今年以来,疫情加速了在线教育的发展。与线下教育场景中的现场感和及时互动相比,线上教育的优质互动和“顺畅”沟通成为在线教育面临的重要挑战。如?

  • 性能出色服务稳定 金山云KENC荣获“最佳边缘计算平台奖”

    7 月 15 日,在 2020 第八届亚太内容分发大会上,凭借出色的性能、稳定的服务以及优秀的用户体验,金山云边缘节点计算KENC(Ksyun Edge Node Computing)荣获亚太CDN产业联盟颁发的“最佳边缘计算平台奖”。 金山云在 2019 年开始布局边缘计算领域。近两年,金山云对于边缘计算为什么是5G时代的必备设施,边缘计算要为客户创造什么价值,边缘计算未来的架构等方面有了更深的认识。在一众企业中,金山云KENC获此殊荣,是对金山云边缘

  • 华为云重磅发布全球首个双零损耗裸金属容器

    7月20日,在华为云TechWave技术峰会上,华为云基础服务领域总裁高江海正式发布了全球独家双零损耗裸金属容器——华为云第二代裸金属容器,首次在业内实现了资源和性能的零损耗,让容器全面释放裸金属服务器的潜力,加速云原生创新升级。图 零损耗第二代裸金属容器发布高江海表示,“面对快速发展的数字经济,企业需要更加灵活、敏捷、开放、易扩展的应用架构。云原生是帮助企业完成架构升级、拥抱数字经济浪潮的关键选择。华为云在?

  • “云毕业”引热议 探探上演“毕业云典礼”

    时下正值毕业季,尽管缺失了热闹的毕业典礼,却可以通过“云毕业”给校园生活画上句号。近日,社交平台探探围绕“毕业季的那些事儿”发起多个话题讨论,吸引了不少年轻用户前来参与,在探探平台上演了一场“云典礼”送给这个特殊的毕业季。在结实好友、拓展社交关系之余,越来越多的用户将探探平台作为分享阵地,在围观与交流之间吸纳更多元的观点和建议,上过探探的用户都知道,探探话题页面经常会推出年轻人关心的热门话题,不仅

  • 字节跳动收购容器平台才云科技 后者团队将加入火山引擎

    7月30日消息,据悉,字节跳动将于近日完成对容器平台才云科技( Caicloud )的全资收购,收购完成后,才云科技的团队及业务,将加入字节跳动火山引擎。成立于2015年的才云科技,初始定位是提供 Docker+Kubernetes 管理平台的 PaaS 服务。目前,才云科技主要产品包括智能容器云平台 Caicloud Compass 、AI 中台 Caicloud Clever 以及端到端智能解决方案。商业模式主要是以私有云和混合云形式向客户提供基于容器架构的产品

  • 腾讯云获可信云4项最佳实践奖项,新增十多项可信云认证

    7 月29- 30 日, 2020 可信云大会在线上举行。会上,可信云年度技术和服务最佳实践评选活动结果以及可信云最新评估结果正式公布,腾讯云揽获四项最佳实践奖项,并新增十多项可信云评估认证。其中,腾讯云金融专区、T-Sec云防火墙获评可信云年度服务最佳实践,腾讯云虚拟化技术、大数据容器化技术则获评年度技术最佳实践。另外,腾讯云智能云应用服务、企业级SaaS服务、Serverless云函数、TStack云管理服务等十多项产品和方案通过可

  • 云上安全形势太复杂?腾讯云“三道墙”高效防护

    在云的时代,伴随更多企业客户转向公有云,基于云原生的防火墙技术逐步取代传统防火墙,成为守护企业云端安全的关键基础设施。近日,腾讯安全战略级新品——SaaS化云防火墙宣布正式升级到V1.6. 0 版本,在原有互联网边界防火墙、VPC间防火墙基础上,新增NAT边界防火墙,三道墙统一防护,精细化管控企业内外部流量,并结合安全策略和防御能力升级,为企业用户带来安全性更高、运行效率更好、可拓展性更强的云端安全防护。作为腾讯云

  • 基于阿里云神龙架构的ZStack弹性裸金属云重磅发布!

    近日,专注产品化IaaS的云计算厂商ZStack宣布:推出基于阿里云神龙架构的弹性裸金属云!这是目前业内首家也是唯一一家基于弹性裸金属技术的私有云解决方案,通过阿里云神龙架构+ZStack云平台的黄金组合,彻底改变用户原有私有云环境中繁琐的配置与固化的应用问题,让用户在本地也能够体验到与公有云一样的便捷与弹性,开启裸金属的全新时代!为什么云时代还需要裸金属技术?裸金属在云时代的价值,与虚拟化技术存在紧密的相关性。?

  • i云保靠谱吗?教你如何通过i云保推广保险兼职赚钱

    在移动互联时代,保险营销的方式和思路与过往大不相同,过去保险代理人不知道到哪里去找客户;常常要靠跟客户见面来沟通需求、维系感情,而现在利用微信群、朋友圈,客户资源更容易被发现,没有了时空限制,代理人可以通过私信给客户发计划书,通过朋友圈做个人品牌营销等各种方式来展业。只有不断紧跟趋势,适应市场新变化,代理人才能够在这个时代更好地生存下去。而近期我发现了一个线上展业神器——i云保,特地跟大家分享一下我

  • 光遇云野先祖全部位置汇总 云野先祖具体位置图

    ​光遇需要大家收集云野先祖,很多玩家还不清楚这些云野先祖在哪里,下面就来为大家分享一下光遇云野先祖全部位置汇总。

  • 金山、网易等入驻钛灵市场,探索打通AI全产业链

    钛灵AI市场是由Google AI技术推广伙伴引力互联(Gravitylink)打造的全球化人工智能算法和解决方案交易市场,为有AI研发能力的企业提供产品解决方案和推广平台,也为AI需求企业提供一站式的软硬件技术咨询和采购服务。钛灵AI市场自上线以来,已经吸引了多家头部AI服务企业入驻并在平台AI算法模块发布AI产品和解决方案。在需求广场板块,目前也有多家企业发布AI需求。钛灵AI市场正成为企业采购AI服务的中间集成商和技术咨询顾问角色

  • ZStack+阿里云神龙服务器,画一条新基建上云的彩虹?

    ZStack+神龙新裸金属 私有云 新基建“新基建”成为经济发展的新引擎,作为“新基建”的“中台”,传统企业纷纷加快了“上云”的脚步。如果说传统基建核心是钢筋和水泥,那么新基建的原材料是算力和数据。脚步虽快、顾虑更多。传统企业应用上云的最大难点是业务连续性,关乎国计民生服务的核心业务一秒钟都不能中断。特别是制造、交通、电力、能源等行业。“而云计算始终存在时间窗口,哪怕零点几秒的中断也将造成致命损失。如今,?

  • 阿里云神龙服务器+ZStack,私有云用户更需要的弹性裸金属

    三年前,当ZStack 创始人&CEO 张鑫得知阿里云要推出弹性裸金属服务器(又称“神龙裸金属”)时异常激动,这是他期待已久的智能服务器,兼具“虚拟机的心脏”和“物理机的肌肉”。而这也是区别于第一代裸金属的“真正”弹性裸金属技术——让服务器在云平台中有跟虚拟化一样的使用体验,可以像虚拟化一样使用云平台的所有功能。如果将这些功能比作衣服,基于弹性裸金属技术的神龙就是穿上衣服还可以根据不同场景换装的智能裸金属。当拥

  • 中国电信:新建系统100%上云 存量系统三年上云

    7月22日消息,日前,中国电信召开视频会议,对系统全面上云工作进行部署,明确提出“新建系统100%上云,存量系统三年上云”的工作目标。在推进上云进程中,中国电信以实现“业务上云、生产上云、管理上云、数据融通、能力开放”为目标,力争在2022年前实现系统全面上云,为“用数”和“赋智”夯实基础。为保证上云工作有序进行,中国电信制定了“MBOD四域协同”的上云策略:对于 MSS,采用重构业务流程和产品服务,重?

  • 袋鼠云 & ZStack牵手,联合推出一站式云基建解决方案

    近日,专注IaaS的产品化云厂商ZStack与数据中台、运维中台服务商袋鼠云签署合作协议!双方将聚焦产品融合和客户服务,充分发挥各自在IaaS、PaaS层面的产品技术优势、客户服务经验,为私有云和混合云客户提供从数据中心建设到数据价值挖掘的一站式云基建解决方案,共同满足政府、电信、能源、交通、教育、制造业、医疗、金融、广电、互联网等行业客户的多样化需求。新基建浪潮涌动,我国的数字经济建设即将进入新时期。在新基建、信

  • ChinaJoy首推线上“云逛展”

    DoNews 7月31日消息(记者 刘文轩)ChinaJoy在上海开幕,本届展会新增潮流玩具、5G云游戏等展区,受疫情影响,首次推出ChinaJoy Plus供玩家线上体验 。通过ChinaJoy Plus,观众不仅可看到各展商带来的线上游戏发布会、游戏制作人见面会、展台表演、周边衍生品和游戏设备,还能体验线上打卡、抽奖等活动。本届ChinaJoy特别新增了5G云游戏以及其配套硬件设备的展示,结合云游戏技术,一些流行游戏也可通过在线方式ChinaJoy Plus供玩?

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签