首页 > 传媒 > 关键词 > UCloud最新资讯 > 正文

UCloud优刻得Serverless容器实例Cube的研发实践之路

2020-08-27 11:13 · 稿源:站长之家用户投稿

Cube诞生背景

随着云原生技术的推广及落地,容器技术在企业生产环境中的使用比重越来越大。Kubernetes作为容器编排的事实标准,在企业服务中被大量采用。UCloud优刻得容器团队在2018年推出了Kubernetes产品UK8S, 这款产品基于UCloud优刻得公有云环境实现,无缝集成了UCloud IaaS层计算、网络及存储的服务,使客户能够快速获取到生产可用的Kubernetes集群,并拥有灵活控制集群的能力。

但在UK8S产品推广及接入客户过程中,UCloud优刻得容器团队也陆续收到一些用户反馈的问题:

>维护Kubernetes集群增加了额外的负担;用户除了管应用还需要后端资源,并未能实现以应用为中心的业务管理。

>Kubernetes体系较为复杂,学习曲线比较陡峭,需要客户团队有一定技术储备;对于已经使用了容器但尚未尝试Kubernetes的客户也是如此,一方面需要了解Kubernetes的技术体系,另一方面需要修改应用架构适配Kubernetes。

>希望能有一款即开即用的容器产品,通过容器直接拉起应用,不需要等待虚拟机就绪再部署应用,缩短应用就绪等待时间。

为解决上述用户问题,UCloud优刻得容器团队开发了一款新的serverless容器产品Cube,目前正处在公测阶段。除了降低用户使用容器的门槛,该产品还具有以下特性:

1. 免运维:没有维护资源负担,不需要关心运行位置,以应用为中心,以容器镜像为应用打包标准。

2. 按需付费:按照应用实际使用资源付费。

3. 自动扩缩容:基于海量资源,提供API,可按需拉起和关闭应用,自动调度资源。

4. 高可用:产品本身高可用,同时提供应用自愈能力。

技术选型

在实现Cube产品特性的过程中,容器团队需要解决几个技术问题:

1. 容器运行时的选型

公有云产品必然要考虑多租户隔离问题。不同于UK8S产品以云主机为基础构建的隔离性,Cube产品则直接在宿主物理机上运行容器。标准docker实现的容器并不能实现同台宿主机上不同用户不同容器之间的强隔离,因此Cube产品需要一款同时具备虚拟机强隔离性和容器快速启动特点的容器运行时方案。

UCloud优刻得容器团队注意到AWS开源了轻量级虚拟机firecracker,具有资源占用少、启动速度快、易于维护等诸多优点,并已用于实际生产环境,非常符合Cube业务场景,因此最终采用了以firecracker轻量级虚拟机为基础的容器运行时方案。从下面两张图可以看出,通过对云计算场景特别的精简和优化, firecracker相对于目前主流的虚拟化组件qemu在启动速度和内存消耗方面有明显的优势。

VMM启动时间和内存占用对比

2. 容器管理服务

支持虚拟机容器运行时的容器管理服务也有多种开源方案,例如containerd/cri-o,kata-container和firecracker-containerd等。经过比较,容器团队选择了cri-o + firecracker-containerd的组合。这二者在功能上能够满足单机容器管理的需求,而且和其他选型相比,代码架构更加清晰,调用链路简单明了,便于后续根据产品需求定制和改造。

3. 容器调度服务

Kubernetes已经成为了容器调度的事实标准,具备丰富的功能和良好的可扩展性。因此容器团队采用Kubernetes作为基本调度框架,并根据产品需求做相关改造,最终基本的服务架构如下所示:

优化改进

虽然采用开源方案可以加快开发进度,但为满足产品需求仍需解决一些问题,主要包括以下几个方面:

1. 容器镜像

在标准的容器镜像实现中,镜像是通过分层结构存储在宿主上的。当创建容器时,容器运行时会在镜像层之上创建一个可写层,并挂载在宿主上供容器实例使用。但Cube容器并不是直接在宿主上运行的,也不需要在宿主上挂载容器根目录。因此容器团队修改了cri-o中镜像层的相关实现,直接将容器可写层以块设备的方式挂载到轻量级虚拟机中而非宿主上,减低了宿主对Cube容器的干扰。

另外,为了解决新镜像拉取缓慢导致的容器实例启动慢的问题,容器团队提出了镜像远程挂载的解决方案。将容器镜像以块设备的形式存储在缓存集群,当需要在此镜像上生成容器实例时,先将容器镜像通过远程挂载的形式挂载到宿主上,然后容器运行时会在宿主上创建一层可写层生成容器实例。同时后台会将远程镜像同步到宿主本地,进一步加速读取,降低集群风险。上述方法可使宿主上首次获取镜像的时间缩短至3s以下,并有进一步优化空间。目前这一功能以镜像缓存的产品形式提供给用户使用,并正在逐步整合到普通镜像拉取过程中。

2. 使用公有云资源

网络方面,Cube容器的网络模型和云主机的基本相同。在将相关网络功能以cni插件的形式实现之后,Cube容器就可以很好的接入到公有云vpc网络中。

存储方面,Cube容器目前支持了两种类型的存储:可以多点读写的网络文件系统nfs和仅单点读写的云硬盘udisk。在文件存储功能上,Cube产品实现了在轻量级虚拟机中自动挂载nfs的功能,用户只需在配置文件中指定好挂载点和挂载参数,就能直接在容器中使用网络文件系统,并可以同时支持vpc网络内用户自建的nfs和UCloud公有云产品ufs。在块设备功能上,容器团队扩展了firecracker块设备的实现。通过添加对vhost-user协议的支持,Cube轻量级虚拟机可以直接对接到spdk服务,从而实现了对高性能的rssd型云硬盘挂载和使用。

3. 容器运行环境

为了减少额外资源消耗,容器团队在容器管理服务和容器运行时上做了大量优化工作。

UCloud优刻得容器团队修改了cri-o管理容器组的架构,采用了单pod对应单shim的模型。通过一个shim管理一个pod内全部容器,可以显著的降低shim资源消耗,简化容器管理。对于轻量级虚拟机,UCloud优刻得容器团队也对kernel/rootfs/init进程等做了充分地精简优化,只保留了最基本的功能,以加快启动速度,减小安全攻击面,降低资源消耗。另外,容器团队还在轻量级虚拟机中内置了infra container的实现,Cube作为pod运行时可以不必挂载额外的infra容器。

4. k8s改造

Kubernetes作为一个通用的容器调度框架,能够满足大部分容器管理的需求。但针对Cube特定的使用场景,容器团队仍需对k8s组件做一些改造。在控制面,容器团队采用了自定义的调度器,可以更好的满足多租户场景下任务优先级,调度速度,资源管理的需求。在宿主节点上,鉴于Cube容器运行时的特点,UCloud优刻得容器团队精简了一些不需要kubelet实现的功能,例如在宿主上挂载configmap/volume目录,运行cni插件,收集特定目录日志等,增强了容器与宿主之间的隔离安全性。

Cube未来展望

在完成了上述开发改造后,Cube产品成功上线,并取得良好效果。后续Cube产品会继续沿着帮助用户提升效率、降低开销、简化维护、节约成本的思路持续迭代更新。在容器性能方面,UCloud优刻得容器团队会继续优化轻量级虚拟机IO路径,减少虚拟化及管理组件的性能损耗,确保用户容器实例稳定高效运行。在服务管理方面,Cube产品层面会推出多种的容器管理控制器,并实现Cube实例直接接入Kubernetes集群的能力,为用户提供多层次的资源调度方式,方便用户按实际需要管理维护。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 从自建数据中心到布局细分行业,UCloud优刻得为新基建“铺路”

    毫无疑问,“新基建”是当前最大的“风口”,但是要想“坐”上去,还能顺势起飞,仅凭一股勇气和闯劲是远远不够的,必须依靠长期的积累、自身准确的定位,以及对路的策略。俗话说,机会永远是留给有准备的人的。作为“新基建”的基建,也可能是“新基建”最大的受益者之一,云计算厂商们做好准备了吗?“新基建”新在哪?和UCloud优刻得联合创始人&COO华琨聊起“新基建”的热,他也感同身受。“‘新基建’并不是一个新概念,它对提?

  • UCloud优刻得发布新一代归档存储产品,存储成本直降80%

    8月6日,UCloud优刻得正式发布新一代归档存储产品,该产品采用UCloud优刻得全新自研存储架构,相较标准存储降低近80%的存储成本,价格低至0.024元/GB/月,与市场同类归档存储产品相比降低近30%成本,为用户提供最低价格的冷数据存储解决方案。ZB级数据存储,开启“冷数据”的热时代在数字经济的浪潮之下,各行各业每天都在产生大量的数据;而5G、大数据中心、人工智能、工业互联网等新基础设施的发展,更促使数据爆炸性增长。根据I

  • 微软正在考虑新的DaaS产品“Cloud PC”

    一份现已被删除的招聘启事显示,微软正在开发一款名为“云PC”的产品,这是一种桌面即服务的产品,每用户价格持平。消息出炉之际,COVID-19将家庭工人的数量提高到历史最高水平。因此,公司欢迎DaaS产品以固定价格从云中提供虚拟桌面。该职位发布最初由ZDNet报道,寻求Cloud PC项目经理,他说该服务基于Windows Virtual Desktop构建并且可以在Microsoft的Azure云平台上运行。它吹捧使用云的可扩展性和其他好处,同时指

  • APICloud:云端应用开发的硬核要素

    随着云计算相关领域近几年的迅速发展,提供基于PaaS开发能力的平台越来越多,这使得很多开发者在编写后端程序的时候无需在服务器上从零构建自己的应用,无需考虑网络、存储、操作系统、运行环境等与开发关联不大的基础配置。这种基于Serverless形式的云计算服务,让应用开发得到了极大简化,甚至后期的运维、监控的工作平台也可以一并完成。各种PaaS平台为用户提供了效率化服务,开发者可根据自己的业务逻辑快速开发出相关的服务端

  • Google Cloud Anthos:混合AI和5个其他新功能

    Google Cloud今天为Anthos引入了新功能-包括人工智能(AI)和Kubernetes集群管理功能-旨在使其混合和多云平台更易于使用和处理更多工作负载。排名第三的云计算提供商表示,它正在为Anthos提供混合AI功能,以解决组织被迫依赖其本地数据中心和云的零散解决方案或限制其技术使用的问题。Google Cloud总经理兼工程副总裁Eyal Manor表示:“无论是图像识别,模式检测,对话式聊天机器人还是人工智能的其他许多新兴用例,组

  • 赛道领跑 青云QingCloud混合云致力企业高效高质上云

    麦肯锡2018年的一份研究报告显示,美国公有云支出占IT平均预算的24%,私有云的占比约为5%,这意味着庞大的IT建设投入有近30%用在云计算的领域;而在中国,IT支出在公有云和私有云之间平分秋色。 青云QingCloud解决方案架构副总裁沈鸥谈到,公有云和私有云在中美两个市场所表现出的差异性,要从两个国家的文化、合规、技术成熟度等各个方面的因素来衡量。在沈鸥看来,不管是中国还是美国,很多传统企业的IT相对比较复杂,加上对安全

  • 高性能AVM框架应势而来,APICloud构建多端开发新能力

    在大前端技术领域,当我们遇到了需要解决重复性的问题时,通常会考虑设计一个DSL(Domain-Specific Language)或者抽象出一个框架层,专门来解决这些类似的问题。使用DSL我们并不需要为特定终端编写多套代码,还可以利用宿主语言的抽象能力,确保各终端渲染效果的一致性以及对开发者友好。目前流行DSL有:React支持的JSX语法、Vue定义的SFC结构和v-*指令集、微信小程序的WXML/WXS语法等。这些DSL最终被编译为目标代码,直接发布于小程

  • 亚洲诚信 CertCloud全球首发,硬核解决SSL/TLS证书管理困局

    每一次创新,只为突破前沿技术难题每一次迭代优化,只为带来更好的用户体验每一次起航,倾注无数专注与热忱2020年8月12日,亚洲诚信CertCloud全球新品发布会通过FreeBuf线上直播平台圆满举行。这是一场颠覆传统的发布会,本次发布会以“为复杂的DevOps跨云环境简化SSL/TLS”为核心理念,亚洲诚信携手合作伙伴、客户、行业专家、业界同仁,媒体朋友们,共同见证重新定义行业标杆的产品CertCloud重磅发布!万物互联时代,全球性网络?

  • 苹果游戏中心iCloud等服务遇故障 部分用户受到影响

    据外媒报道,美国当地时间周三,苹果公司游戏中心、iCloud等服务遭遇故障,部分用户无法使用这些服务。据了解,这些问题出现在 5 日下午 12 点 56 分,截至目前,故障问题仍未解决。

  • 北京嘀嘀无限科技发展有限公司申请注册“DiDi Cloud”商标

    DoNews 8月20日消息(记者 程梦玲)天眼查APP显示,近日,北京嘀嘀无限科技发展有限公司新增2条“DiDi Cloud”商标信息,国际分类分别为“09-科学仪器”及“42-网站服务”。北京嘀嘀无限科技发展有限公司成立于2013年5月,注册资本56亿人民币,法定代表人为程维,公司经营范围包括计算机软件及网络技术的研发;技术服务、技术咨询、技术转让;销售自行研发的软件产品;经济信息咨询等。天眼查APP股东信息显示,该公司为小桔科技香?

  • 微软xCloud 9月15日面向安卓设备推出 苹果设备还得再等等

    8月5日消息,据国外媒体报道,2018年宣布的微软云游戏流媒体服务xCloud,将在下月面向安卓设备独家推出,苹果iOS设备还得再等等。从外媒的报道来看,微软在官网公布的云游戏流媒体服务xCloud的推出时间是9月15日,目前距离推出还有一个多月的时间。外媒在报道中表示,即将推出的微软xCloud项目,将作为Xbox Game Pass Ultimate订阅套餐的一部分,每月14.99美元,微软承诺在安卓平板电脑和手机提供超过100款游戏。不过?

  • 2020下半年,云管理服务商(Cloud MSP)正式跨入混

    “随着各大公有云厂商逐步布局混合云,具备优秀的混合云管理服务能力是云MSP面临的新挑战”,新钛云服CEO冯祯旺在谈到混合云如何落地时说道,“大多数企业在上云之后面临着更加多元、复杂的IT基础设施架构。位于数据中心的裸机、私有云、多家公有云等资源如何统一管理、统一监控、统一运维、统一运营,是我们在混合云场景下需要帮助客户解决的问题。”【越来越多的企业采用混合云】全球范围内看,混合云正在成为企业用云的主要形式

  • vlog爆款频出,如何借助vlog+撬动不同赛道?

    ​20 19 年,各大短视频平台纷纷推出多项政策,以不同的力度加码着对vlog内容的扶持。vlog的内容生产者,也得以从“明星”实现向“素人”的大幅跨越,并以蓬勃的生命力席卷而来……

  • 让人人都能拍出酷炫 Vlog,ColorOS 7.2 Soloop 就该这么玩

    随着手机摄像头性能日益强大以及 4G、5G 网络的覆盖率迅速提升,现如今有越来越多的人开始用视频取代照片来记录生活。前不久,OPPO 发布的 OPPO Reno4 Pro 就被誉为「5G 视频手机」,其搭载的 ColorOS 7.2 结合硬件特性带来诸多体验出众的视频功能。值得一提的是,为了降低视频创作门槛,ColorOS 团队还推出「Soloop 即录」视频编辑器,帮助用户一键创建视频,化身 Vlog 达人。上手简单,功能全面考虑到用户对视频剪辑的需求不一样

  • 苹果起诉使用梨logo的企业,认为logo设计太相似

    苹果公司的LOGO辨识度可以说是相当的高,一个重要原因是他们苹果LOGO有一个小小的缺口,成为了这家公司标志性的图案。而最近苹果却因为这个LOGO起诉了一家企业Prepear,他们认为这家企业的梨LOGO造型设计十分相似。

  • 苹果起诉创业公司梨型logo:与苹果logo过于相似

    【苹果起诉创业公司梨型logo】日前据雅虎财经报道,日前苹果起诉了“Prepear”的开发商,称其梨型logo徽标设计与苹果logo过于相似,侵犯了自己的品牌。

  • Taylor Swift新专《folklore》首发QQ音乐,斩获畅销榜日榜/周榜双榜首

    7月24日,流行天后Taylor Swift的全新专辑《folklore》正式上线QQ音乐,以简单民谣曲风为乐迷送去夏日惊喜。作为Taylor在发布专辑前后的国内空降首站,QQ音乐以近60万的预约量成为全网预约量最高的音乐平台。专辑上线仅5小时58分,销售量便突破200000,成为QQ音乐最快达成【钻石唱片】认证的欧美专辑,截至目前,专辑销售量已超30万,一展Taylor的火爆人气。作为Taylor Swift的全新专辑,《folklore》还未正式发售,就已备受QQ音乐的乐迷关注

  • B站获得LOL三年独播版权

    8月1日消息,2020英雄联盟总决赛将于9月25日至10月31日在上海举办,B站将独家提供包括总决赛、冠军赛在内的一系列直播与点播内容。据悉,哔哩哔哩(以下简称“B站”)与拳头游戏(Riot Games)共同宣布达成英雄联盟全球赛事战略合作。B站正式获得中国大陆地区2020-2022连续三年的全球赛事独家直播版权。B站将独家提供包括全球总决赛、季中冠军赛、全明星赛在内的一系列直播与点播赛事内容。同时在全球总决赛举办期间,

  • 苹果对使用梨logo的小型企业苹果提起诉讼

    ​据外媒 iPhone in Canada报道,由于应用Prepear logo的关系,苹果正对其开发者采取法律行动。据悉,Prepear是一款帮助用户发现食谱、计划膳食、制作清单和安排超市送货的应用。这款应用是Super Healthy Kids的衍生产品,其创始人声称他们正面临来自苹果的诉讼。

  • LOL夜幽福袋可以开出什么 夜幽福袋开出奖励汇总

    英雄联盟中最近新出了灵魂莲华的任务,其中可以获得夜幽福袋,这个夜幽福袋很多玩家还不清楚能开出什么奖励,下面就来为大家详细的介绍一下。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签

热文

  • 3 天
  • 7天