首页 > 传媒 > 关键词 > 华云数据最新资讯 > 正文

华云数据:Ceph的正确玩法之Ceph纠删码理论与实践

2019-02-26 10:33 · 稿源:站长之家用户投稿

随着云计算业务的快速发展,国内外云计算企业的专利之争也愈发激烈。在云计算这样的技术领域,专利储备往往代表着企业最新的技术实力。华云数据本期“智汇华云”专栏将针对“Ceph的正确玩法之Ceph纠删码理论与实践”技术,与大家共同分享云计算领域的最新技术与解决方案。

该文章为本系列的最后一篇文章,我们将在之后继续推出其他系列类别的文章,敬请关注!

华云数据:Ceph的正确玩法之Ceph纠删码理论与实践

一、纠删码原理

纠删码(Erasure Coding,EC)是一种编码容错技术,最早是在通信行业解决部分数据在传输中的损耗问题。其基本原理就是把传输的信号分段,加入一定的校验再让各段间发生相互关联,即使在传输过程中丢失部分信号,接收端仍然能通过算法将完整的信息计算出来。在数据存储中,纠删码将数据分割成片段,把冗余数据块扩展和编码,并将其存储在不同的位置,比如磁盘、存储节点或者其他地理位置。如果需要严格区分,实际上按照误码控制的不同功能,可分为检错、纠错和纠删 3 种类型。

·检错码仅具备识别错码功能而无纠正错码功能。

·纠错码不仅具备识别错码功能,同时具备纠正错码功能。

·纠删码则不仅具备识别错码和纠正错码的功能,而且当错码超过纠正范围时,还可把无法纠错的信息删除。

从纠删码基本的形态看,它是k个数据块+m个校验块的结构,其中k和m值可以按照一定的规则设定,可以用公式:n=k+m来表示。变量k代表原始数据或符号的值。变量m代表故障后添加的提供保护的额外或冗余符号的值。变量n代表纠删码过程后创建的符号的总值。当小于m个存储块(数据块或校验块)损坏的情况下,整体数据块可以通过计算剩余存储块上的数据得到,整体数据不会丢失。

下面以k=2,m= 1 为例,介绍一下如何以纠删码的形式将一个名称为cat.jpg的对象存放在Ceph中,假定该对象的内容为ABCDEFGH。客户端在将cat.jpg上传到Ceph以后,会在主OSD中调用相应的纠删码算法对数据进行编码计算:将原来的ABCDEFGH拆分成两个分片,对应图11- 2 中的条带分片1(内容为ABCD)和条带分片2(内容为EFGH),之后再计算出另外一个校验条带分片3(内容为WXYZ)。按照crushmap所指定的规则,将这 3 个分片随机分布在 3 个不同的OSD上面,完成对这个对象的存储操作。如图所示。

华云数据:Ceph的正确玩法之Ceph纠删码理论与实践

下面再看一下如何使用纠删码读取数据,同样还是以cat.jpg为例。客户端在发起读取cat.jpg请求以后,这个对象所在PG的主OSD会向其他关联的OSD发起读取请求,比如主OSD是图中的OSD1,当请求发送到了OSD2 和OSD3,此时刚好OSD2 出现故障无法回应请求,导致最终只能获取到OSD1(内容为ABCD)和OSD3(WXYZ)的条带分片,此时OSD1 作为主OSD会对OSD1 和OSD3 的数据分片做纠删码解码操作,计算出OSD2 上面的分片内容(即EFGH),之后重新组合出新的cat.jpg内容(ABCDEFGH),最终将该结果返回给客户端。整个过程如图所示。

华云数据:Ceph的正确玩法之Ceph纠删码理论与实践

虽然纠删码能够提供和副本相近的数据可靠性,并降低冗余数据的开销,整体上能提高存储设备的可用空间。但是,纠删码所带来的额外开销主要是大量计算和网络高负载,优点同时伴随缺点。特别是在一个硬盘出现故障的情况下,重建数据非常耗费CPU资源,而且计算一个数据块时需要读出大量数据并通过网络传输。相比副本数据恢复,纠删码数据恢复时给网络带来巨大的负担。因此,使用纠删码对硬件的设备性能是一个较大的考验,这点需要注意。另外,需要注意的是,使用纠删码所建立的存储资源池无法新建RBD块设备。

Ceph安装后默认有Default Rule,这个Rule默认是在Host层级进行三副本读写。副本技术带来的优点是高可靠性、优异的读写性能和快速的副本恢复。然而,副本技术带来的成本压力是较高的,特别是三副本数据情景下,每TB数据的成本是硬盘裸容量 3 倍以上(包括节点CPU和内存均摊开销)。纠删码具备与副本相近的高可用特性,而且降低了冗余数据的开销,同时带来了大量计算和网络高负载。

二、纠删码实践

纠删码是通过创建erasure类型的Ceph池实现的。这些池是基于一个纠删码配置文件进行创建的,在这个配置文件中定义了纠删码的特征值。现在我们将创建一个纠删码配置文件,并根据这个配置文件创建纠删码池。下面的命令将创建一个名为Ecprofile的纠删码配置文件,它定义的特征值是:k= 3 和m=2,两者分别表示数据块和校验块的数量。所以,每一个存储在纠删码池中的对象都将分为3(即k)个数据块,和2(即m)个额外添加的校验块,一共有 5 个块(k+m)。最后,这5(即k+m)个块将分布在不同故障区域中的OSD上。

1、创建纠删码配置文件:

# ceph osd erasure-code-profile set Ecprofilecrush-failure-domain=osd k=3 m=2

2、查看配置文件

# ceph osd erasure-code-profile ls

Ecprofile

default

# ceph osd erasure-code-profile get Ecprofile

crush-device-class=

crush-failure-domain=osd

crush-root=default

jerasure-per-chunk-alignment=false

k=3

m=2

plugin=jerasure

technique=reed_sol_van

w=8

我们顺便也看Ceph默认的配置文件

# ceph osd erasure-code-profile get default

k=2

m=1

plugin=jerasure

technique=reed_sol_van

3、基于上一步生成的纠删码配置文件新建一个erasure类型的Ceph池:

# ceph osd pool create Ecpool 16 16 erasureEcprofile

pool 'Ecpool' created

4、检查新创建的池的状态,你会发现池的大小是5(k+m),也就是说,erasure大小是5。因此,数据将被写入五个不同的OSD中:

# ceph osd dump | grep Ecpool

pool 8 'Ecpool' erasure size 5 min_size 4crush_rule 3 object_hash rjenkins pg_num 16 pgp_num 16 last_change 231 flagshashpspool stripe_width 12288

5、现在我们创建个文件放到纠删码池中。

# echo test > test

# ceph osd pool ls

Ecpool

# rados put -p Ecpool object1 test

# rados -p Ecpool ls

object1

6、检查EC池中和object1 的OSDmap。命令的输出将清晰地显示对象的每个块所在的OSDID。正如步骤1)中说明的那样,object1 被分为3(m)个数据块和2(k)个额外的校验块,因此, 5 个块分别存储在Ceph集群完全不同的OSD上。在这个演示中,object1 一直存储在这 5 个OSD中,它们是osd.5、osd.1、osd.3、osd.2、osd.4。

# ceph osd map Ecpool object1

osdmap e233 pool 'Ecpool' (8) object'object1' -> pg 8.bac5debc (8.c) -> up ([5,1,3,2,4], p5) acting([5,1,3,2,4], p5)

三、纠删码测试

1、我们先来关闭一个osd

# systemctl stop ceph-osd@3

停止osd.3,检查EC池和object1 的OSDmap。你应该注意,这里的osd. 3 变成NONE了,这意味着osd. 3 在这个池是不可用的:

# ceph osd map Ecpool object1

osdmap e235 pool 'Ecpool' (8) object'object1' -> pg 8.bac5debc (8.c) -> up ([5,1,NONE,2,4], p5) acting ([5,1,NONE,2,4],p5)

2、我们再来关闭一个osd

# systemctl stop ceph-osd@5

停止osd.5,检查EC池和object1 的OSDmap。你应该注意,这里的osd. 5 变成NONE了,这意味着osd. 5 在这个池是不可用的:

# ceph osd map Ecpool object1

osdmap e237 pool 'Ecpool' (8) object'object1' -> pg 8.bac5debc (8.c) -> up ([NONE,1,NONE,2,4], p1) acting([NONE,1,NONE,2,4], p1)

3、我们从纠删码池中下载文件

## rados get -p Ecpool object1 /tmp/wyl

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 华云数据许广彬应邀参加长三角一体化发展高层论坛

    2020年6月6日,以“战疫一盘棋,夺取双胜利”为主题的第二届长三角一体化发展高层论坛在浙江湖州热烈召开。沪苏浙皖一市三省党政主要领导、智库专家、企业家代表齐聚一堂,为长三角一体化高质量发展贡献新智慧,共谋发展大计。华云数据董事长、总裁许广彬作为中国优秀企业家代表、长三角企业家联盟理事应邀出席。2019年,中共中央、国务院印发《长江三角洲区域一体化发展规划纲要》。实施长三角一体化发展战略,是引领全国高质量发

  • 数据中台变革在即 阿里云数据中台升级瞄准行业化

    6 月 9 日,在 2020 阿里云线上峰会上,阿里云发布了新一代数据中台,重点发布核心产品矩阵“2+2”升级,并同步推出了四大行业数据中台。据了解,这是阿里云数据中台首次对外宣布升级。记者尝试通过产品矩阵升级和行业数据中台发布来解读背后的信号。从大数据基础能力延伸到精细化业务赋能过去,阿里云数据中台主要围绕两款产品来为企业提供数据中台服务——Dataphin和Quick BI。Dataphin的能力重点主要是智能数据体系的构建及管理

  • 阿里云数据中台深入垂直领域 升级发布4大行业解决方案

    图为:阿里巴巴集团副总裁、数据技术及产品部负责人朋新宇6 月 9 日,在 2020 阿里云线上峰会上,阿里巴巴集团副总裁、数据技术及产品部负责人朋新宇推出Quick Audience、Quick A+两款全新产品,并升级Dataphin和Quick BI两款现有产品。同时,阿里云零售、金融、政务及互联网企业等四大行业数据中台解决方案也首度亮相,未来将要扶持 100 万家企业。1、数据中台扎实有效2015 年,阿里巴巴在国内首次提出数据中台概念,它是集方法论

  • 阿里云数据中台全新推出企业智能用户增长平台Quick Audience

    在刚刚过去的 2020 阿里云线上峰会上,阿里巴巴集团副总裁、数据技术及产品部负责人朋新宇重磅发布了阿里云数据中台“2+2”核心产品矩阵,其中全新亮相的企业智能用户增长平台Quick Audience受到广泛关注。朋新宇介绍,Quick Audience定位于智能用户增长,能够帮助企业实现基于消费者资产管理、运营层面的“全方位洞察、多渠道触达”增长闭环。 7 天新设500+粉丝群 红蜻蜓实现日均销售破百万随着数字经济的进一步发展,越来越多的?

  • 清华云毕业典礼,非在校生线上参加

    国内知名学府清华大学在6月17日宣布今年的毕业典礼将采用“云毕业典礼”形式,在校毕业生按院系分散组织在室外集中参加,非在校毕业生线上参加,本次毕业典礼不安排学位授予环节。

  • 数据化运营,Smartbi助力商业银行打造“数据王国”

    在国内,银行的信息化一直是走在各个行业的前列,BI在银行也有着悠久和广泛的应用。BI可以辅助银行管理者和业务人员的经营决策,提高银行的科学管理水平,是银行信息化不可或缺的一部分,也是银行实现数字化转型的必要手段。银行的BI建设伴随着业务和技术的发展,是一个逐步摸索、不断成熟的过程。刚开始可能只建设某一个部门的一部分报表,在取得一定的成效后,再逐步推广到更多的部门,建设更多的主题,采用更多的可视化方式,支

  • 罗永浩直播数据在哪看 罗永浩直播数据统计

    罗永浩的直播带货数据一直都被很多网友们关注,尤其是他第一场直播的时候就已经获得了1.68亿的销售额,直播间观看人数更是达到了4800万,在如今的直播带货领域可以说是十分顶流。

  • 云测数据:场景化AI数据 破解智能家居“伪智能”

    据IDC的数据研究报告显示,近5年内智能家居市场将以14.9%的复合增长率增长。得益于物联网、人工智能、5G等新型技术的飞速发展,智能家居在短短数年间就已经相继渡过了“自动化”、单品智能化”、“物联网+家居场景”三个阶段,进入了当前的“人工智能+家居场景”的“智能”阶段,开启了智能家居对人的思维和意识的学习与探索。现阶段的智能家居融合了IoT、人工智能、边缘计算等信息技术,以前影视片段中一声令下就能控制所有家具电器、?

  • 快手回应主播带货数据疑似造假:数据接口调试不到位

    针对快手主播带货数据疑似造假一事,快手回应称,快手对数据做假零容忍,一经查实严肃处理。此前快手平台上的主播小伊伊与寺库的直播带货数据遭到了网友的质疑。

  • 华为开源数据库能力 开放openGauss数据库源代码

    今日,华为正式宣布开源数据库能力,开放openGauss数据库源代码,并成立openGauss开源社区,社区官网(opengauss.org)同步上线。

  • 人工智能+大数据,新浪舆情通用更“智能”的数据助力决策

    人工智能技术的应用早已深入人们的生活,语言翻译、智能音箱、导航系统、城市安防系统之中都能有人工智能技术的参与,在推动国家治理、优化企业运营策略的过程中,也能见到人工智能技术的应用。近年来,政企机构越来越重视聆听新媒体平台上的声音,并通过大数据分析和数据简报等方式挖掘信息价值,洞察民意以辅助自身决策。随着数字基础设施建设的逐步加速,互联网信息将成倍增长,并且以更复杂多样的形态和方式出现,人工智能技术

  • 快手回应小伊伊带货数据疑似造假:1.05亿是真,数据接口的“锅”

    昨日,针对“快手”小伊伊直播带货数据涉嫌造假”一事,快手回应称,小伊伊与寺库的专场直播成交额由寺库快手小店后台数据统计得出,确实为1.05亿。由于本场直播快手小店与寺库的数据接口调试不到位,造成前后端数据显示不一致。6月7日晚,粉丝数量高达3632万的快手一姐“小伊伊”联手寺库开启奢侈品专场直播。其快手小店战报显示,23点30分,小伊伊成交额超1亿。然而很快,有网友对快手平台网红?

  • 快手回应主播带货数据疑似造假:没造假 数据接口调试不到位

    昨日,针对“快手小伊伊直播带货数据涉嫌造假”一事,快手回应称,感谢大家的关注和监督,快手对数据做假零容忍,一经查实严肃处理。小伊伊与寺库的专场直播成交额由寺库快手小店后台数据统计得出,确实为1. 05 亿。

  • 李开复谈互联网巨头拿走个人数据:应该惩罚用数据做坏事的企业

    在6月20日的极客公园联合bilibili举办的Rebuild2020的对话上,谈及“个人隐私”,创新工场董事长李开复表示,联网巨头拿走个人数据赚钱,用户获得授权和分成仍是理想主义,用户拿回自己的数据会发现在电商平台搜不到自己想要的东西了,社交媒体获得不到推荐的好友了,推荐你的餐馆不靠谱了

  • 苹果发布App Store生态商业数据,完整数据报告汇总

    6月16日苹果公司发布了App Store生态商业数据,这份数据报告中苹果指出2019年App Store商店全球范围促成 5190 亿美元商业交易,淘宝、京东、苏宁易购等零售类 app 完成了 2680 亿美元销售。

  • 为什么快手要投资百亿自建数据中心?

    在快手前,华为、阿里和苹果等公司的 11 个数据中心项目已在乌兰察布落地,总投资规模达到 357 亿元,服务器规模 150 万台,“南贵(阳)北乌(兰察布)”的数据中心格局已经形成。快手百亿投资数据中心,将进一步促进乌兰察布大数据产业发展,给当地在GDP、招商、就业、城市建设规划与税收上带来直接好处。作为视频与AI头部企业,快手在乌兰察布的数据中心也将专用于大数据与AI,因此将给当地大数据产业带来更多想象空间。

  • 关于数据库的高可用高可靠,华为RDS有话说

    不知从何时起,“6·18”成为了“购物节”,这种全民狂欢式购物对电商行业是一个巨大挑战。 618 大促毫秒必争,短时间的高并发会给数据库带来巨大压力。面对暴涨的业务、暴增的订单,企业该如何确保数据库稳定性和可靠性呢?不要担心,华为云数据库的这份应对策略,时刻为您保驾护航。对于数据库来说,可用性和可靠性是永恒的话题。数据库管理员会按照业务的不同要求选择不同的策略保证系统正常运作,其中包含数据库本身内核提供的?

  • U盘坏了数据怎么恢复?简单又有效恢复见解

    U盘坏了数据怎么恢复?U盘作为一种存储介质,在使用过程中有着很大的优势,而且在和电脑连接时,如果不小心误删除其中文件的话,所删除的文件也都不会经过回收站,而是直接被系统所隐藏。那么对于这种现象来说,要想找回丢失数据的话,我们又该如何恢复呢?怎样才能找回丢失的文件呢?下面嗨格式数据恢复大师就为大家介绍下,目前比较常见的几款U盘数据恢复软件,以及哪款软件比较好?对于U 盘自身故障,造成 U 盘在电脑中无法读取

  • 民航业数字观察:营销需升级,中台靠数据

    每一次危机过后,都给行业以“刮骨疗伤”、“转型升级”的契机。对民航企业来说,疫情的影响同样带来了冲击、反弹、恢复的进程。从全球三分之二的客机停飞、分析机构预测2. 2 万亿元的损失,到国内航班在 5 月份恢复到 5 成水平,中国民航企业经历了冰火两重天。 民航产业这个引领行业发展数十年的传统行业,如何在数字化的今天重新走在时代前头? 6 月 6 日,腾讯云TVP闭门会邀请了交通行业的从业者和技术专家一起,探讨了航企的数

  • 抖音开放平台推出公开数据服务

    近日,抖音开放平台宣布推出公开数据服务。接入服务的开发者可以为用户提供抖音热点数据、视频公开数据、星图榜单、生活服务数据等服务,为视频创作和账号运营提供更多支持。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议