站长之家首页 > 传媒 > 京东云最新资讯 > 正文

京东云:11.11大促下的混沌工程实践

2019-11-22 16:57 · 稿源:站长之家用户投稿

随着互联网技术的发展,系统架构因此也不断的演进、升级、迭代。从单一应用,到垂直拆分,到分布式服务,到SOA,以及现在火热的微服务架构,系统扩展性和开发效率大幅提高。但同时,由于系统自身复杂度的激增,传统的测试方法已经不能全面理解和覆盖系统所有可能的行为,测试的有效性也大打折扣,加之开发者在引入复杂性的同时对风险的低估和忽视,成为目前系统可用性面临的两大挑战。

2008年8月,某厂商由于单点系统架构故障,导致了三天宕机,在此期间无法观看任何视频。随后该厂商开始将服务从数据中心迁移到云上,之后就开始尝试在生产环境中开展一些系统弹性的测试。

随着Chaos Monkey的出现,混沌工程原理应运而生,它被描述为“在分布式系统上进行实验的学科,目的是建立对系统承受生产环境中湍流条件能力的信心”。如今,谷歌,亚马逊,IBM,耐克等公司,都采用某种形式的混沌工程来提高现代架构的可靠性。

京东云在混沌工程领域的实践——破坏性演练

破坏性演练,是京东云在混沌工程中的实践。一方面,2018年京东云新增200+产品,实现爆发式增长;另一方面由于微服务化,大大增加了系统间依赖关系的复杂性;保障整个云的持续可用是巨大的挑战。

基于混沌工程的理论依据,京东云在实践过程中用系列实验,真实验证系统在各类故障场景下的表现,通过频繁地进行大量实验,使系统本身的反脆弱性持续增强,让云有信心抵御生产环境中难以预知的问题,也让客户对云的稳定性放心。

开始混沌工程之前,京东云在底层架构上,已经实现支持多Region和多AZ高可用,包括物理层、IaaS层、PaaS层以及控制面。但是京东云并未持乐观态度,而是谨慎的认为:业务垂直化的质量保证,更多关注纵向细分产品的质量和高可用能力,但对云整体横向的高可用的验证方面,存在天然的弱点。另一方面,实践出真知,不验证就没有底气。这些情况坚定了京东云做混沌工程的决心。

仿真环境建设。云是一套非常复杂的整体,它的资源数量、地域分布、流量体量等,都决定了无法在生产环境直接演练。为了确保演练不会影响到生产,京东云建立了隔离故障区域,将云的预发环境和测试环境都迁移至此,并投入大量服务器做1:1仿真部署,包括物理层、IaaS层、PaaS层以及控制面,及安全、CDN、视频等核心产品,相当于搭建了一个缩小公有云环境。在环境建设完成后的第二天,京东云就进行了第一次破坏性演练。

首次演练,投入近百人,两天时间,即收获117个改进点。之后,混沌工程成为京东云每个季度的例行工作。并由此不断推动应急预案的升级和技术架构的改进。

应急预案升级。当前产品的主要故障场景,都已具备自动化预案能力。自动故障检测以及自动故障恢复能力逐渐成熟,故障恢复耗时大大缩短。

技术架构改进。协同京东云架构师委员会,从验证双AZ的可靠性,到完善和发展基于3AZ的高可用架构。如存储产品,由原来的单AZ 3副本,改进为3AZ 3副本,可用性进一步提高;同时,排查依赖成环的问题,进行解除依赖或完善降级能力。

演练平台的建设。经过不断打磨,实现了演练触发自动化、多租户场景模拟、结果快速验证等能力的建设,提升了演练的效率。之后,演练不断深入,场景不断丰富。覆盖了服务、机器、随机硬件等场景,并结合IDC、基础网络,对整个云基础设施进行高可用性验证。

混沌工程实战检验 京东云为客户保驾护航

截止目前,京东商城、物流等全部核心系统都已经运行于公有云之上。依据内部混沌工程的经验,结合云高可用技术方案,京东云总结出了一套面向云上用户的快速验证方案,与用户一起,通过最佳实践解决用户可靠性的问题。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 大家在看
  • 相关推荐
  • 京东超级品牌日钜惠来袭,荣耀笔记本Pro低至3999元

    自 2018 年进军PC市场以来,荣耀相继推出多款笔记本产品,并凭借不俗的配置和体验获得众多消费者的喜爱,此次更是在 2 月 27 日京东超级品牌日中斩获京东笔记本销量销售额双冠军以及一分钟销量破万台的佳绩。据悉,活动期间荣耀笔记本系列不仅可以享受购机赠礼及 12 期免息,还有多款热门机型推出超大力度优惠,其中荣耀笔记本Pro 锐龙版R5+8G+512GB配置,活动价 3999 元,荣耀笔记本 14 锐龙版R5+8G+512GB配置,活动价 3299 元,?

  • 京东将旗下、人工智能、物联三个品牌统一为“京东智联

    3月5日,京东云与AI事业部正式宣布,将旗下京东云、京东人工智能、京东物联三个品牌统一为“京东智联云”品牌,并于 2020 年 3 月 5 日正式启用。该品牌以“云智联世界”为使命,以“成为最值得信赖的智能技术提供者”为愿景,以“最懂产业的数字经济服务企业”为定位,凭借京东在零售、物流、金融等领域多年深耕所积累的场景和技术优势,为客户提供更多、更好、更融合、更场景化的技术与服务。

  • 最高直降900元 小米净水器:击穿地板价

    3 月 17 日- 3 月 22 日,“小米净水周”开启,多款净水器优惠,最高直降 900 元,甚至击穿了行业同规格净水器地板价!

  • 微盟商户已恢复经营 连夜上线3·8小程序电商

    今天( 3 月 6 日)记者从微盟获悉,目前微盟商户已经恢复经营,已有多家商户备战3· 8 小程序电商大促。事实上 9 天前( 2 月 26 日),微盟旗下核心业旗下微商城、智慧零售、微站业务已经全面恢复。记者从部分微盟所服务商户了解到,对于微盟赔付方案有商户坦言“两套赔付方案考虑到不同商户需求,我们表示认可,对于微盟此次事故表现出的态度非常感动”。记者也从微盟内部了解到,目前部分商户选择流量赔付方案,看中的是延期两个月

  • 5G手机1元抢,全场疯抢24小时,vivo来袭

    正值iQOO品牌成立一周年,为了回馈广大用户一直以来的支持,3月23日,vivo将在拼多多举办大促,给消费者带来超大力度的优惠活动。全场疯抢24小时:5G新品手机1元抢,畅销爆品低至3折,更有最高500元优惠券可以领取!爆款机型限时直降,至高12期免息分期在这次超级大促中,vivo旗下多款畅销机型限时直降,给消费者带来了诚意满满的优惠和福利。作为新一代5G性能旗舰,iQOO 3不仅拥有“骁龙865+LPDDR5+UFS 3.1”强大性能铁三角组合,?

  • 微盟:商户已经恢复经营,已有多家商户备战3.8小程序电商

    3月6日消息,微盟表示目前商户已经恢复经营,已有多家商户备战3· 8小程序电商大促。从微盟内部了解到,目前部分商户选择流量赔付方案,看中的是延期两个月的服务和通过广告投放增加店铺曝光度。在经历了程序员删库之后,微盟拟定了现金赔付计划和流量赔付计划供商家选择。微盟表示,准备了1. 5 亿元人民币赔付拨备金,其中公司承担 1 亿元,管理层承担 5000 万元。

  • 近期新低:喜马拉雅FM会员118元 领券立减100元

    喜马拉雅FM会员年卡日常售价 218 元,今日天猫易通峰联服务专营店可领 100 元优惠券(点击领取),实付 118 元近期新低(点此购买)。官方秒冲,年卡共 12 个月。喜马拉雅VIP会员年卡包含 174 本经典书籍, 28 本付费费课程, 2017 本有声小说。天天好书畅听,每日更新,全年超过 500 本好书精华梳理。精选有声书免费畅听,畅听库已经覆盖90%,可每月可获得总价价值 80 元的 4 张专辑通用券,购买专辑还可以做到9. 5 折。

  • 京东商路带领中小型电商卖家冲破生死困局

    新时期,中国的跨境电商产业发展迎来了新的转机,尽管受到疫情影响,但“元气未伤”,复原效率依然很高。很多人都认为这正是得益于中国向来在跨境电商产业方面就有许多头部企业,正是因为这些巨鳄的存在,所以才使得跨境电商产业稳如泰山,但真的是这样吗?让我们来看一组数据:根据此前浙江大学中国跨境电子商务研究院与阿里巴巴国际站合作研究发表的《中国中小企业跨境电商白皮书》显示,全国进出口总额的60%左右由中小企业实现?

  • 微盟助力利和体育3.8,小程序商城活动首日销售额129万

    今天( 3 月 6 日)记者从微盟获悉,微盟商户恢复经营后,陕西体育品牌代理商利和体育在微信小程序“利和体育商城”上开启了为期 4 天的3· 8 大促活动,活动首日小程序商城销售额达到 129 万。受疫情影响,不少购物中心闭店或缩短营业时间,实体零售遭遇巨大冲击,业绩下滑严重。作为陕西优秀的体育品牌代理商,利和体育旗下拥有耐克、阿迪、新百伦、彪马、斯凯奇等海量大品牌,为了方便消费者购物以及应对疫情带来的市场冲击,在门

  • 富途点评 | 超预期,京东业绩高增长能否持续?

    3 月 2 日,京东公布了2019Q4 及全年财报。比较关键的,Q4 用户增长再次加速,以及营收、净利大幅增长,超出市场预期。由于 2019 下半年业绩表现分化,京东与拼多多市值再次拉开差距。展望2020年,受疫情影响,预计 2020 年快消品将继续带动京东电商GMV增长,同时受益5G迭代, 2 季度起3C销售也会提速,这两项都是京东传统优势品类,因此看好今年业绩继续增长。管理层指引2020Q1 营收仍有10%以上同比增长。一、京喜助力,零售主业?

  • 助力健康运动,华米科技Amazfit 智能运动手表3女神节仅售1179元

    一次猝不及防的“长假”,让不少专业跑步者只能转战室内运动。在家中运动,也许没有室外跑步自由,但我们仍可以通过使用专业的智能运动手表,提高运动的效率。目前市面上有不少热卖的智能运动手表,功能都十分全面。这其中,一款可针对全场景运动模式检测运动数据的手表更是备受关注,它便是华米科技Amazfit智能运动手表3。作为一款为运动和健康而生的智能手表,Amazfit智能运动手表 3 内置了 80 种运动模式,并结合了FIRSTBEAT专

  • 科技击穿“疫”线 京东智联全矩阵技术力量“亮相”央视

    京东云与AI总裁、京东集团技术委员会主席 周伯文博士 接受央视采访疫情期间,数字技术成为抗疫“主力军”。京东智联云研发 10 多款技术产品驰援全国,受到了政府、社会、公众和媒体的关注和肯定。 2 月 27 日,CCTV-4《中国新闻》栏目围绕“科技抗疫”“复工复产”等主题,采访了京东云与AI总裁、京东集团技术委员会主席、IEEE Fellow周伯文博士。“仅应急资源信息发布与匹配平台一款产品,上线以来就为全国 650 多个政府部门、 50

  • 震旦家具推”灵”动新品行业升级

    实体企业陆续复工,震旦集团的家具产业也在早前发布了2020春季新品,此季的新品主题为”Activa Office”,在此次全国疫情颠覆办公方式的背景下显得尤为应景。”Activa Office”--灵动办公,意为基于人们的工作行为(Activity Based Working)打造多样化、灵活的办公空间,改变传统人适应工位的状况,从人出发,通过创造多样化办公环境,来支持不同的办公活动。提升工作效率、满足员工对办公环境的需求。 经震旦家具设计中心介绍,这?

  • 京东手机周末“放价”爆款5G手机至高24期免息

    周五的来临,意味着一周繁忙工作即将结束,新鲜热乎的周末又在向每个人招手了!如何才能让自己的周末过得不同寻常?当然是要趁这个空闲的机会为这个“伙伴”手机换新了呢?So,就是这个周末,京东手机品类优惠大放价啦!爆款手机秒杀、白条至高 24 期免息、iPhone11 系列至高减 700 元、手机配件立减、5G套餐一站购齐等等,让你在周末购个痛快。2020 年以来,手机厂商们就已经发布了多款5G手机,目前已有超过 10 多款5G新品手机通过京?

  • 京东喊话罗永浩:考虑来京东直播不

    近日,罗永浩将进军直播界,成为网友热议话题。京东手机通讯也在微博喊话:“罗老师考虑来京东直播不! 我帮你联系!”3 月 4 日,锤子科技CEO罗永浩在与网友互动时透露,过些天就会开始定期直播活动。之前罗永浩在微博发起过一次投票:“你们买东西时会看电商直播吗?或者你们会看电商直播买东西吗?”

  • 京东成立两家全资子公司,累计注册资本8000万人民币

    天眼查数据显示,3月10日,京东云计算有限公司成立了两家全资子公司,分别为京东(泉州)科技有限公司和九江京东云计算有限公司。京东(泉州)科技有限公司注册资本 5000 万人民币,法定代表人为谢海波,经营范围包含云计算技术开发、技术转让、技术咨询等。九江京东云计算有限公司注册资本 3000 万人民币,法定代表人为李永明,经营范围包括大数据分析;大数据处理;大数据服务等。

  • 领域、百余细则,京东中小企业帮扶计划全面加速落地

    山东滨州工业企业产供销服务平台已开始服务本地超 1000 家工业企业、云南的玫瑰卖出了 100 万朵、同样是云南的香水菠萝四小时卖出了 5 吨、西南最大的广汉禽苗交易市场日均交易量已经恢复了近六成……自 2 月 21 日启动“中小企业帮扶计划”后,京东聚焦中小企业当下困局,通过集团资源整合及协同优质行业资源,着力推动中小企业帮扶政策在全国的落地,助力中小企业复产复工,度过难关。京东中小企业帮扶的一系列举措及落地实践也?

  • 金山推出AI疫情防控平台 三特点筑牢战疫防线

    当前正值疫情防控的关键时期,疫情时时刻刻牵动人心。在这场没有硝烟的战争中,新一代信息技术已成为疫情防控的坚实堡垒和战“疫”的强力武器。为了协助各相关单位提高人员密集场所的人员检测效率,金山云突击开发的“AI防疫检测方案”,可在各个人流聚集场所快速部署,实现非接触式的口罩未佩戴告警及体温快速检测,广受客户好评。面对不断增长的客户需求,为更好应对当前疫情防控的严峻形势,“AI防疫检测方案”的升级版“金山云

  • 2020荣耀强势来袭 用京东金融中的京东支付?

    现在是荣耀系列笔记本不可错过的优惠期,除了一些常规的笔记本,京东还分别推出了极具性价比的颜值实力派Z系列和高端旗舰机型荣耀系列,大家都可以使用京东金融旗下的京东支付购买。京东支付让荣耀购买更方便而且众所周知的amd锐龙笔记本一向非常具有性价比的,又赶上荣耀的超级品牌日,不止是6期免息、0元抽笔记本、晒单赢E卡/耳机/鼠标等活动,还有背包、智能音箱等你来拿,看着这优惠力度与丰厚的奖品,果断下手去买。荣耀magic

  • 手游齐助阵 腾讯黑鲨327京东超级品牌日大波福利等你来拿

    3 月 27 日,备受期待的?腾讯游戏?与黑鲨科技京东超级品牌日将正式开启,不仅有?腾讯黑鲨游戏手机3 Pro?穿越火线手游限量定制版的超值抢购,还有 5 大知名游戏精心准备的一大波专属福利,对游戏爱好者们来说无疑是全年难得一遇的狂欢盛宴。作为?腾讯游戏?与黑鲨科技倾情打造的拳头产品,?腾讯黑鲨游戏手机3 Pro?一经推出就赢得了媒体和用户的一致好评,62 万+的跑分成绩成为目前手机市场中绝对给力的性能标杆,价格上更是诚意十足?

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议