首页 > 传媒 > 关键词 > 腾讯开发者大会最新资讯 > 正文

2020 Techo Park开发者大会召开,作业帮加速平台架构容器化探索

2020-12-23 13:58 · 稿源:站长之家用户投稿

12月19日-20日,由腾讯主办的2020Techo Park开发者大会在京举行,全球200余位顶级技术专家以及数千位参会者在大会现场就云计算、大数据和人工智能等前沿技术话题展开深度交流。

作业帮基础架构部架构方向负责人吕亚霖受邀出席本次大会的“企业IT架构云原生的必经之路”容器分论坛,并在现场发表《作业帮容器化探索和落地实践》主题演讲,分享作业帮容器化背景、目标、落地、收益及未来规划,深入剖析容器在教育行业落地所面临的问题、挑战以及相应的高效解决方案。

云原生技术架构是有效手段,K8S及其生态是重要抓手

随着云原生技术的成熟和普及,金融、教育、游戏等各个领域越来越多的企业IT架构正在向云原生架构转型。在此背景下,作业帮在技术和实践中所取得的一系列进展与成绩,成为教育领域企业云原生上云转型的一大代表,为行业提供了可供借鉴的成功案例。

吕亚霖在演讲中首先分享了作业帮技术体系现状,他表示,作业帮自2015年成立至今,一直保持高速增长,尤其是在今年更是实现了规模的成倍增长,发展到现在已拥有数千个业务应用、数万个应用实例、数十万计算核数,未来一段时间内将会依然保持增长势头。

而在规模化加速发展的同时,作业帮的复杂度也在急剧增加。吕亚霖表示,作业帮已从最开始的拍照搜题工具类型应用,演化成教研、工具一体并覆盖整个教学领域,涵盖了从低幼、K12到成人教育的全阶段,技术栈则由PHP、C++演化成涵盖了现在所有主流语言的多语言栈,由此也面临着高可用、极致性能、高并发的一系列问题,在可用性和性能的要求上比大部分互联网业务要求更加苛刻。

在业务的极速扩张下,控制其架构复杂度同时保证业务服务稳定性、成本以及效率成为作业帮容器化的核心问题。对此,吕亚霖指出,用云原生技术架构,基础设施接管业务中大量非功能逻辑,实现弹性、可观测、韧性、自动化、可持续等特性是有效手段,K8S以及其生态是重要抓手。

吕亚霖进一步阐述了作业帮容器化层级和其背后的技术思考,“在虚拟机时代,应用直接运行在资源上,所以底层资源的变更对上层应用是有感知的,应用通过服务治理手段来保证业务的高可用、性能和可扩展性,但是建立和运维这种体系的成本高昂。而在容器化体系下的云原生架构,K8S通过对下游资源的抽象,来抹平资源差异和变更,由此资源对上层服务透明,上层服务不关系底层资源的细节和变化。同时,对上层应用做服务化,用应用框架落地规范和标准,降低接入成本。”

图片1.jpg

 

CPU高峰调度应根据未来使用量,日志检索针对元数据

吕亚霖强调,在容器化落地进程中,首先明确业务服务构建容器的原则是很重要的,一是避免陷入重大问题缺陷,二是有利于容器生态的快速接入。

“容器化落地的内核主要是集中在IPVS和Cgroups,内核上我们遇到了很经典的ipvs reuse mode问题,也有在高并发下网络毛刺的问题,我们通过腾讯tlinux内核团队协作解决了这些问题。”吕亚霖在大会现场分享了容器化落地的内核以及原生K8S优化等内容。

“K8S默认调度器有很多不足,比如高峰调度不均衡问题,我们先后做过均衡调度,真实调度,优化后发现在业务deployment时,其实是均衡的,但是到了高峰时段,又变得不均衡,因为大部分业务场景下CPU高峰增量不是线性的,所以我们的建议是做高峰预测调度,不要根据现在的使用量来调度,而是要根据未来的使用量。”

接下来,吕亚霖进一步从容器化落地服务发现注册的控制面和数据面进行了详细说明,他表示,在容器化过渡期间,虚拟机和容器会并行很长一段时间,所以需要解决老的虚拟机和容器化互通的问题,从控制面上来看,通过一个控制组件,来监听虚拟机的名字服务,将服务注册到K8S集群的service里,监听其变更,将变更同步到容器。而在数据面,容器通过service直接访问虚拟机,service来做负载均衡,虚拟机访问容器化,则通过一个东西向的ingress服务,访问容器内的服务单元。

此外,Service Mesh对于像作业帮等使用多语言的公司来说优势非常明显。吕亚霖指出,其优势一是低入侵,业务几乎无感,二是多语言支持,三是与服务感知的结合较好。

资源弹性调度+在离线混合部署,部分业务成本下降43%

作为资源弹性调度的重要参考背景,作业帮容器化落地过程中的时间周期特性十分明显,高峰时段是平峰时段的20倍,是低峰时段的上百倍,同时流量上升曲线较陡,凌晨到5点前流量较少。此外,遇到寒暑高峰或者期中、期末考试,也会有很大的资源使用量。

基于这一特性,吕亚霖和团队主要通过两种HPA来扩缩POD,一个是定时HPA,较为适合时间点明确的业务,另一个是autoHPA,用来应急扩缩,防止服务出现容量问题。同时,底层资源层面则有两个池子,一个是固定池,里面是裸金属服务,长时间使用,另一个是动态池,由一批按需的虚拟机构成,平时处于关机状态,当资源紧张时则会开机加入集群,用来应对非预期的峰值。

除此之外,在离线业务容器化混合部署则成为成本节约优化的一大利器。据吕亚霖介绍,正常在线业务有大量的低负载时段,作业帮把大数据离线和视频音频转解码服务均容器化,统一在K8S调度,部署到在线K8S集群,由此带来的收益是非常大的,而这里面主要的技术则是利用tlinux的cpu隔离策略。

而从异构计算来看,在GPU服务的容器化方面,作业帮的主要策略是gpu-share方案,通过显存和算力进行POD调度,从上游流量入口侧对算力进行隔离,来保证GPU服务稳定性,同时实现资源利用率的最大化。“在我们的场景下,大规模使用GPU几千卡,比较常见的情况是卡故障,这时候就需要做故障转移和资源下线操作。”吕亚霖称。

此外,作为可用性保证的重要环节之一,在多云K8S建设方面,作业帮在多个云厂商部署独立的K8S集群,实现统一K8S的管理调度层,云内流量闭环,数据存储专线同步,源头DNS/HTTPDNS切流。

图片2.jpg

 

在多重举措的合力推动下,作业帮容器化的收益显著,同样业务迁移前后,使用了HPA和在离线混合部署后,成本下降43%,稳定性提升到99.995%,接口响应提升10%。由此,有效支持了作业帮业务的快速迭代,秒级急速扩缩容,服务运行态规范落地和统一的运维环境,多云的环境统一,提升服务可用性。这也便于云间相互自由迁徙,实现单云故障的应急预案,通过优化资源碎片,在离线混合部署,自动扩缩容,整体成本进一步下降。

在演讲最后,谈及对于容器化未来的规划展望时,吕亚霖提出四大方向,包括更大规模和全时段的在离线混合部署,K8S与Serverless的结合是未来的趋势,中间件容器化,以及大数据服务容器化。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 作业帮,一家科技公司

    “7岁了,继续奔跑。”1月15日,作业帮创始人、CEO侯建彬在朋友圈里感慨。过去一年,作业帮发展尤其迅速,一年拿到两轮融资,给原本热闹的K12在线教育市场再添了一把火。2015年的时候,作业帮还是一个很小的APP,团队也很小,一张照片就放得下。6年后的今天,作业帮已经成为中国唯一月活用户过亿、唯一进入全网top30的教育类APP,员工总数超过35000人。作业帮团队.2015年K12在线教育正身处风口。iMedia Research预计,政策利好、技

  • 技术赋能家庭教育,作业帮名师随时随地答疑解惑

    对于许多家长而言,辅导孩子作业算得上是一个大难题。家长对孩子遇到的问题讲解不清,或者由于知识遗忘而根本无法辅导,不仅孩子理解不了,往往也增加了家长的焦虑情绪。作为在线教育头部平台,作业帮旗下产品一直以新技术、新工具持续赋能个性化教学,成为家庭教育的有力补充。河南在线学习报告发布,作业帮拍搜技术为中小学生答疑解惑近日,北京师范大学统计学院与作业帮联合发布《河南省中小学生在线学习大数据学情报告》,详细

  • 以科技革新学习场景,作业帮拍搜让难题错题“拍”立解

    “7岁了,继续奔跑。”1月15日,作业帮创始人、CEO侯建彬在朋友圈里感慨。7年来,作业帮敏锐抓住了K12教育的风口,着力提升拍照搜题的效率和准确性,从一张照片就放得下的小团队,成长为中国唯一月活用户过亿、唯一进入全网top30的教育类APP,员工总数超过35000人。对于K12教育行业来说,2013年可谓一个转折年。这一年,辞去世纪佳缘CEO的龚海燕创办的梯子网吸引了大众的关注,也搅起了BAT对在线教育的好奇心。彼时,在百度内部,?

  • 冬奥冠军武大靖携手作业帮:为每一分,付出100分

    2月4日,北京冬奥会倒计时一周年之际,全球用户规模最大的在线教育公司作业帮宣布中国短道速滑队队长、冬奥冠军武大靖为其“冠军代言人”,双方将携手共同陪伴中国青少年成长。此前,作业帮已与中国女排达成战略合作,并签约中国女排队长朱婷。作业帮表示,“为每一分,付出100分”是作业帮和武大靖在各自领域共同的追求与实践。作业帮对教育、成长的理解与武大靖在体育竞技领域的精神内核高度一致,希望借此次合作,携手亿万中国中小学生,?

  • 借AI技术升级在线课堂 作业帮直播课让“云同桌”进行“云对话”

    2020年1月,作业帮行业内首家在“直播大班课”中上线“小组直播间”,对大班课的学员进行分组。在“小组直播间”中,学员进入课堂可自由选择伙伴,6人一组,6组之间进行PK。一些小学生还会将课堂上的这种伙伴关系延伸到课下。在对“小组直播间”的用户产品调研中,作业帮小学产品负责人了解到,在辅导老师的家长群里,妈妈们会帮孩子寻找小伙伴的妈妈“加微信”,结成一起学习的小伙伴。2021年1月27日,根据用户调研问卷中学员和家

  • 用AI科技铸就心理健康防线,作业帮为未成年人打造“幸福校园”

    学业、考试带来的压力,青春期的困惑,来自家庭方面的问题,在校园生活中与同学、老师相处中出现的问题,留守儿童问题等,在成长的过程中,不同年龄段、不同群体的孩子都可能存在这样那样的心理方面的问题。基于此,作业帮在2018年9月上线了国内首个青少年信息安全综合防护平台——寸功平台,它借助作业帮大数据科技,通过“AI赋能信息审核”“全量数据监测和预警”“数据分析及适当干预”“综合防护”四大功能,全面守护青少年信?

  • 作业帮小组直播间集体发言功能升级,以AI技术驱动在线教育行业发展

    为全方位模拟线下教育高频互动场景,更好地促进学员间的“开口互动”,1月27日,中国用户规模最大的K12在线教育平台作业帮对其小学直播课产品中的集体发言功能进行升级。升级后,在作业帮直播课的“小组直播间”场景中,“小组直播间”内的6名组员将在集体发言环节中听到“同学”的声音,主讲老师也可以任选其中一组,听到该组6名同学的“集体表达”。行业内首家在大班课中上线“小组直播间”据了解,集体发言功能是作业帮直播课产

  • 苹果将开设一个新的开发者学院 以对抗种族主义

    作为苹果去年宣布的耗资1亿美元种族平等和正义计划(REJI)的一部分,苹果正在密歇根州开设一个开发者学院,并帮助在乔治亚州建立一个教育中心。

  • 有开发者成功在M1 Mac Mini上运行Linux系统

    对于不想使用苹果macOS系统但又想体验最新M1硬件的人来说,有机会尝试M1Mac上运行Linux 系统了。专注于 Arm 软件虚拟化的公司Corellium,已经成功让Linux在M1Mac Mini运行起来了。

  • 《中国企业家》专访:环信,坚韧品质缔造SDK覆盖30万APP服务40万开发者

    当今时代,科技进步和创新已成为经济社会发展的决定性力量。对于企业而言,“服务至上、效率争先”至关重要。尤其在数字化转型进程中,更需要借力数字化加速企业发展。作为国内领行的企业级软件服务提供商,环信是国内较早覆盖云通讯、云客服、智能机器人的一体化产品技术储备企服公司,作为国内全媒体智能云客服倡领者,在中国移动端SaaS客服市场环信市场占有率高达77.4%,在中国即时通讯云市场环信也始终保持着客户数量领先优势?

  • 云+社区2020年度优秀创作者榜单揭晓,共建开发者生态

    回首不平凡的2020年,技术力量越来越受到重视,技术从业者的责任也越来越重大。突发事件、流量洪峰、协同开源……一轮又一轮的挑战背后,是技术从业者们默默的努力。然而,技术的发展,不仅需要默默努力,更需要站出来发声,以文字发声,以演讲发声,分享自己的实践经验,推进技术整体的进步,更是十分珍贵。2020年,云+社区携手业界各方专家、一线开发者,真诚分享、多方交流,让技术的声音传递给更多人:在这一年里,数百位来自?

  • 华为应用市场AppGallery Connect研习社·直播:百万开发者打造优质应用的奥秘

    如何快速构建移动应用后端?不升级应用,如何修改应用的行为和外观?如何快速发现、定位并解决应用崩溃?2月4日19点,华为应用市场AppGallery Connect专家团队将在线为大家带来丰富干货解读:涵盖云函数、远程配置、崩溃服务、性能管理、华为分析5个单服务,帮助开发者提升应用质量与开发效率。·云函数:提供Serverless化的代码开发与运行平台,您只需聚焦业务逻辑,使用函数开发核心业务代码并上传到平台,平台接管函数的运行并保证资源的

  • Facebook起诉两家Chrome扩展开发者 偷偷抓取用户数据

    日前,Facebook在葡萄牙对两名当地公民提起诉讼,指控他们开发的Chrome扩展会窃取Facebook用户数据。Facebook平台诉讼主管表示“当人们在他们的浏览器上安装这些扩展时,实质上是在安装隐藏代码,这些代码旨在从Facebook网站上收集他们的信息,以及从用户的浏览器上收集与Facebook无关的信息——所有这些都是在他们不知情的情况下。”

  • 苹果要求开发者退还DTK Mac mini,可获200美元M1芯片设备赠金

    据9to5Mac报道,当苹果宣布从英特尔处理器向Apple Silicon芯片过渡时,苹果公司提供了一款带有A12Z仿生芯片的定制Mac mini,以便开发者就可以更新他们的macOS应用程序以支持新的ARM平台。

  • iOS 14.4 Beta2第二个开发者测试版发布,增强HomePod接力体验

    苹果今天发布了 iOS14.4 第二个开发者测试版,距离首个测试版相隔一个月的时间。iOS14.4 增强了 HomePod 接力体验。现在开发者可以通过苹果开发者中心进行下载,已经加入 Beta 测试项目的用户也可以通过 OTA 方式进行更新。

  • 科学家正开发新人工智能设备,要来帮大家戒烟了!

    科学家们正在开发一种人工智能设备“Level”,通过预测人们何时有烟瘾进而帮助人们戒烟。据悉,Level系统可以精确监控吸电子烟的行为,它被设计用来帮助使用者控制他们的烟瘾或减少他们吸入的尼古丁的量。

  • 千聊作业宝招募首批体验官,提供官方一对一使用指导

    引言:为了千聊讲师们更方便且高效得收发作业,现千聊作业功能全新升级,为讲师们量身定制推出线上作业测评工具【千聊作业宝】,上课作业测评一站式解决,同时支持作为独立作业工具应用于多种场景,满足更多精细化课程服务需求。教学五环节中,作业和考试是很重要的两环。以前需要对学员进行课后测评,需要老师手动在群内发放和搜集作业,流程不顺畅,收发作业效率较低。 现在千聊作业功能全新升级,推出【千聊作业宝】,上课页一键布置作业/?

  • 有赞美业发布“双播”方案:2种模式帮美业商家实现小程序直播

    为了帮助美业商家实现多种模式的直播,有赞美业正式发布“双播方案”。一种是帮助商家入驻与有赞无缝打通的小程序直播平台“爱逛”;一种是帮助商家在自有小程序内嵌微信官方的“小程序直播组件”,直接在小程序中实现直播与销售的闭环。 据了解,爱逛直播是一个独立的小程序直播平台,由有赞云第三方开发者提供技术支持和运营服务,并与有赞店铺无缝打通。观众可以通过上滑、下滑切换直播间。同时,爱逛支持多种裂变工具(优惠券、秒杀)?

  • 腾讯投资《原子之心》俄罗斯游戏开发商Mundfish

    近日,俄罗斯游戏开发商Mundfis宣布完成B轮融资,参与这次的B轮的融资方包括:腾讯、Gaijin(《战争雷霆》发行商)和GEM Capital,这三家都给《原子之心》开发的早期阶段提供了资金支持。

  • 智能教育传递公益力量,六点作业携手中国公益节共赴十年之约

    2021年1月28日-29日,公益领域最具影响力的年度盛事之一——第十届中国公益节,在中国上海隆重举行。六点作业作为智能教育领域的创新品牌,成立至今发展稳步上升。借助科技的力量,六点作业不断探索、钻研智能化教育发展,为促进教育公平奉献力量,在履行社会责任方面的良好表现赢得了社会各界一致认可,荣获本届中国公益节“2020科技企业社会责任奖”。本届公益节围绕抗“疫”、扶贫、教育、科技、环保、企业社会责任等领域设置了

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签

热文

  • 3 天
  • 7天