首页 > 传媒 > 关键词  > 华云数据最新资讯  > 正文

华云数据新专利解决云平台容灾难题

2018-07-25 10:11 · 稿源: 站长之家用户投稿

随着云计算业务的快速发展,国内外云计算企业的专利之争也愈发激烈。在云计算这样的技术领域,专利储备往往代表着企业最新的技术实力。华云数据将开设“智汇华云”专栏,不定期更新专利和技术相关文章,与大家共同分享云计算领域的最新技术。

在云计算领域,对虚拟机磁盘执行数据保护时一般采用快照技术。用户可以选择定期或者不定期地对系统盘和数据盘做快照(snapshot)。快照技术可以将事故发生后的数据损失降低到一定范围内,比如,允许用户创建的快照个数。但是,快照技术只能将数据恢复至最近的一个快照点的状态,这个快照点之后产生的数据便无法恢复。快照技术虽然可以恢复到过去的某个快照点,但是当本地数据中心发生故障时,保存在本地数据中心的快照也无法使用,从而导致虚拟机磁盘数据无法保证一致性。

此外,在云计算领域中对虚拟机磁盘数据进行保护还可采用异地备份的技术方案。异地备份的实现方式有两种,一种是异地快照备份,即定期或者不定期地将本地数据中心的快照复制到另外一个数据中心,当本地数据中心发生故障时,可以在异地数据中心将数据恢复至最近的一个快照点;另外一种是通过镜像的方式,在另外一个数据中心存放相同的数据。前者的缺点是数据只能恢复至最近的一个异地快照点,而且随着数据量的增大,快照的RPO(Recovery Point Objective,数据恢复点目标) 和RTO(Recovery Time Objective,恢复时间目标) 也将逐渐增大,无法满足关键业务系统不间断运行的要求;而后者的缺点是一旦源数据中心写入了错误的数据,异地数据中心也会存放错误的数据。

再者,在云计算领域中对虚拟机磁盘数据进行保护还可采用连续数据保护方案。对于云平台中连续数据保护通常采用异步方式或者同步方式实现。

在异步方式中,数据请求从客户端发送过来之后,先将数据写入到本地集群和内存当中,然后返回给客户端一个应答,表示该数据请求已经完成,客户端可以发送后续的读写请求,当内存区域的数据达到一定的阈值,例如内存数据达到预先设定的大小或者达到一定时间的阈值,系统会启动一个额外的线程异步将内存数据复制到远端的数据集群当中,保证这部分本地集群和远端集群数据的一致性,该方案还有一些简单的变化,但是本质还是异步复制数据到远端集群达到数据保护的目的。异步方案的连续数据保护存在本地集群和远端集群数据不同步情况,在本地集群因为某种原因需要通过远端集群恢复数据的时候,可能存在不能恢复到最新的数据,在数据已经写到本地集群和内存中,但是数据还没有异步复制远端集群中,这个时候如果客户端所在物理节点因为某种原因导致内存数据丢失,这个时候数据可能就恢复不到最新的版本。

同步方案针对异步方案存在本地集群和远端集群存在数据不同步的问题,同步方案采取数据请求同时发给本地集群和远端集群,只有本地集群和远端集群保证数据请求的数据已经持久化到本地集群和远端集群,客户端只有收到本地集群和远端集群的应答才会认为本次数据请求已经完成,客户端可以发送后续请求。

华云数据的方案

为克服异步连续数据保护方式在本地集群和远端集群之间由于不同步所造成的数据丢失的缺陷;同时,克服同步连续数据保护方式中需要等待数据在本地集群和远端集群持久化的问题,避免在同步方式中云平台的计算性能的下降。我们提出并实现了一种全新的云平台连续数据同步方案,其系统架构如下:

图一

系统关键组件说明如下:

缓存模块,用于临时存储用户虚拟机发送的请求所对应的数据。

性能判定模块,用于对本地存储集群或者异地存储集群进行性能判定,以确定本存储集群与异地存储集群在一个延迟操作周期所容忍的数据差异。

更新模块,包含一种逻辑,所述逻辑能够根据采集模块发送的性能数据确定延迟操作周期。

采集模块,根据更新模块所设定的时间阈值T,对本地存储集群及异地存储集群的性能数据进行采集,并发送至更新模块。

系统的IO处理原理归纳如下:

虚拟化管理器(Hypervisor)接收自用户虚拟机(User VM)发送的请求,在等待更新模块确定的延迟操作周期后,将请求并行发送至本地存储集群与异地存储集群(会在缓存模块中为前一次响应慢的本地存储集群或异地存储集群保留一份请求数据);Hypervisor不等待该请求所关联的数据在本地存储集群和/或异地存储集群中完成数据持久化,而等待未作出响应的本地存储装置或者异地存储装置作出响应,任务结束。

当本地存储集群与异地存储集群中某一个较快作出响应后,可由Hypervisor接收下一个请求,并向较快完成响应的本地存储集群或者异地存储集群下发下一个请求,并开始执行该请求;当较慢响应前一个请求的本地存储集群或者异地存储集群完成响应后,可以立刻开始下一个请求的响应。

图二和图三分别给出了本地存储集群和异地存储集群先于应答的操作序列:

图二

图三

由于本地存储集群与异地存储集群的性能与网络环境会随时发生变换,因此两者的先后顺序并不固定,从而可根据本地存储集群与异地存储集群的计算性能和/或网络环境而灵活切换与变换先后顺序,从而使得整个技术方案既能够达到目前异步数据备份的高效率的优点,又能避免过分消耗后台或者云平台的计算资源,因此本方案能够显著的提高用户体验,避免用户发出的请求产生响应的滞后与延迟。

作者:NEWS资讯

链接:https://www.jianshu.com/p/6e6245a20ae3

來源:简书

简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • 全方位培养信创人才 华云数据成为信创人员培养的“主力军”

    近日,中国电子技术标准化研究院代表信息技术应用创新从业人员标准起草组(简称信创人员标准起草组)发布了第一批信息技术应用创新人才标准试点通过人员名单。本次通过人员总共 96 人,其中 61 个通过人员是由华云数据进行培训的,占本次人员名单的64%,华云数据已经成为信创人员培训的主力单位。本次标准试点,根据信创工委会今年 7 月发布的《信息技术应用创新人才标准验证与应用试点方案》,信创人员标准起草组依据《信息技术应

  • 构建中国生态 | 华云数据与神州网信完成产品兼容互认证 携手加快政企上步伐

    “十四五”时期是我国开启全面建设社会主义现代化国家新征程的重要开端,也是机遇与挑战并存的时期。电子政务发展将进入“新发展、新理念、新格局”的阶段,引领国家治理体系和治理能力现代化迈上新征程。在构建服务型政府的大背景下,政务信息化由传统电子政务走向政务云。从“上云”迈向“云上”,国内IT厂商积极推进生态建设,加快信创部署。近日,华云数据安超桌面云软件与Windows10 神州网信政府版完成互认证测试。测试结果显

  • 从VMware迁移到安超 | 推动国产化转型 华云数据赋能河南省某院校智慧校园建设

    近年来,国家高度重视教育信息化、数字化、智能化发展工作,先后在平台搭建、资源整合、基础设施建设等方面出台一系列政策措施,推动各地高等教育信息化和高校数字化建设。随着国家加快自主创新步伐,教育行业国产化已是大势所趋。一方面,学校需要把握新一代信息技术发展的新机遇,以国产化信息技术赋能学校高质量发展,推动教育改革。另一方面,科技企业需要为高校提供国产化方案,以信息化支撑教育体系,推动智慧校园建设。教育

  • 华云数据参与编制的《企业数字化转型白皮书(2021版)》正式发布!

    近日,由全国信标委大数据标准工作组、中国电子技术标准化研究院牵头,国家电网、中国联通、中国南方电网、华云数据等 30 余家单位共同参与编制的《企业数字化转型白皮书( 2021 版)》(简称《白皮书》)在 2021 全国大数据标准化工作会议上正式发布。数字经济是全球未来的发展方向,是推动世界经济发展的重要动能。数字化转型作为数字经济发展的重要着力点,以云计算、大数据、人工智能等数字技术为抓手,广泛赋能各行业各领域,

  • 华云数据董事长许广彬接受中央电视台采访:推动职业教育发展 打造信创人才核心竞争力

    近日,中共中央办公厅、国务院办公厅印发了《关于推动现代职业教育高质量发展的意见》。其中提到,要优化职业教育供给结构。优先发展现代信息技术、人工智能等产业需要的一批新兴专业。信息技术应用创新人才在社会主义现代化建设中的作用日益重要。然而随着科技的发展,高技术人才的缺口愈加扩大也成为一个不争的事实。正是出于对这类问题的关切,近日中央电视台就推动职业教育发展方面的问题采访了华云数据董事长、总裁许广彬。华

  • 华云数据受邀出席操作系统产业峰会2021 助力中国开源社区创新发展

    2021 年 11 月9- 10 日,由开放原子开源基金会、中国电子技术标准化研究院、中国软件行业协会、绿色计算产业联盟、中国计算机行业协会共同主办的操作系统产业峰会2021&openEuler Summit2021 顺利召开。本次峰会以“立根铸魂,逐梦数字时代星辰大海”为主题,来自操作系统产业的 300 多家企业、组织等政产学研用代表线上线下参会,共同探讨产业政策、技术创新、生态共建、商业验证、开源共享等话题,推动操作系统产业发展和基础软件

  • 腾讯官方辟谣:腾讯云数据库泄露系谣言

    日前,网上有传言称腾讯云数据库泄露,部分国企事业单位已经开始从微信撤退。对此,鹅厂黑板报微信公众号发公告辟谣,腾讯云数据库泄露系谣言。

  • 阿里宣布将新增韩国泰国两座云数据中心 2022年内启用

    ​此前,阿里云已在马来西亚、新加坡、印尼、菲律宾、日本、德国、迪拜、美国等25个地域建立了数百座云数据中心,是亚洲规模最大的云计算平台。今年以来,阿里云在印度尼西亚的第三座数据中心已投入使用,在韩国和泰国的两座新建数据中心也将在2022年正式启用。

  • 云数据服务提供商Backblaze本周上市:市值低但增长潜力看好

    尽管 2 季度仅产生 1600 万美元的收入、且估值低于 10 亿美元,云数据备份服务提供商 Backblaze 还是选择了在本周上市。另一方面,同期 IPO 的电动汽车制造商 Rivian Automation 虽然尚未开始有营收,但它已在首次公开募股期间筹集到了近 120 亿美元。然后我们眼看着它的市值飙升至 1050 亿美元以上,一路超越了福特和通用等老牌车企。Backblaze 在招股书中写道,截止 6 月 30 日,其在过去一年总计营收 5990 万美元。其中二季度销

  • 华云智能办公平台在2021世界制造业大会上受到广泛关注

    云计算是人工智能的基础计算平台,也是人工智能的能力集成到千万应用中的便捷途径。作为驱动新一代科技革命和产业变革的重要力量,云计算正在推动数万亿数字经济产业转型升级。华云数据作为云计算厂商,在近期召开的世界制造大会上大放光彩,其中智能办公平台受到了各界的关注。信息技术成为推动社会发展的重要基础和新的经济增长点,国内的科技企业对于加快新旧动能转换,发挥推动制造业等传统产业数字化转型、智能化发展有着引领

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天