站长之家(CHINAZ)10月24日报道:2011年10月24日,“2011中国互联网无线化峰会暨阿里云 开发者大会”在杭州海外海国际会议中心举行。本届大会由阿里巴巴集团、阿里云计算主办,云集全球互联网企业领袖、行业观察家与活动家、知名投资人、云计算 技术达人等各路精英,共同探讨云计算及互联网无线化的新未来。
本次阿里云开发者大会除主会场之外还设立了云计算专场、无线专场和社区电子商务专场,会议邀请了包括阿里巴巴集团董事局主席马云、阿里云计算总裁王坚、phpwind副总裁陈燎罕、易观国际董事长兼首席执行官于扬、DCCI 创始人胡延平、NTA创新传播机构创始人申音、化龙巷总经理钱钰、爱物网CEO王宏达等众多业内嘉宾参与。
以下是林晨曦的演讲稿:
大家下午好!
非常高兴今天有这么多的人一起来到杭州,一起来参加开发者大会。我今天下午会跟大家讲一下阿里云这边怎么看待云计算,我们为云计算做了多少工作?然后我们的题目叫运行千里,始于足下。云计算总没有什么东西出来,到底是不是看得见摸得着的东西。
我想在这里告诉大家云计算真的来了,这是我想讲的第一个含义。第二个含义,其次这样云计算的平台,其实是非常大的工程的东西,我想在这里给大家介绍一下阿里云这三年的时间里面究竟是如何一步一步云计算做出来的过程?这个过程其中一个系统就是我们这个飞天系统,在今天下午给大家介绍一下。
这里我们讲云计算的时代的到来,实际上是有很多的基础。其中最重要的第一个基础是跟互联网相关,实际上我们讲云计算是因为有了互联网这个东西能够成为基础之后的事情,很重要的是说,有了互联网之后人们就可以产生很多很多的数据,而这数据后面又对这个整个社会的改进,起到非常重要的作用。而云计算是在这个基础上延伸出来,如果它跟传统的网格计算去比较,它其实是一个很重要的数据密集型的计算。所以我们认为云计算到来的其中一个很重要的契机,是互联网后面起的作用。
第二,大家都知道人类第一台计算机有房子那么大,而之后有一家很伟大的公司,有一个叫比尔盖茨的人,他告诉我们每个人都可以有一台电脑,现在我们有了互联网,有了海量的数据,我们已经没有办法在个人电脑上去处理的这些数据,所以我们从PC转移到数据中心来,有成千上万的电脑而它成为新的时代下的计算机。这个计算机在整个世界范围内不会有太多台,不要紧,人们依然可以享受计算服务,计算有两个特点:第一是为差别的服务,第二它一定是需计费的,随时可以获取。我们从三年前开始下定决定做云计算事情。
最近大家都知道,苹果的iphone非常好,对于我们互联网不得不被动接受一件事情,就叫移动互联网,移动互联网叫做运营商和手机厂商摆在互联网的机会,云计算实际上一个很重要的技术基础去把互联网移动化。
其次,我们也发现云计算可能最好的生根发芽的地方,是在移动互联网上,于是这两件事情碰到一起,我们更加相信云计算平台马上展现在大家眼前。
因为很多人都在炒作云计算,每个IT公司都在这么说,云计算是什么东西?我想说自己的理解,阿里云的观点。我们觉得云计算本质上解决三个问题:第一是大规模的问题,什么叫大规模?我们先看一个简单的小例子,这是一个很简单的乘法题,基本上每个小学生都能搞明白,如果把ITB存储数据放大10000倍,就有10PB,空间上不可能买下来。如果另外一台电脑1DAY计算乘以10000,是否能解决时间上的问题。
我们要解决大规模的同时,我们要保证低成本,你可能去用一些高端的设备,去买一些集中式的存储来解决这些的问题,这个成本不是我们这个社会能够坚持去做这件事情的存储,1PB在中关村买350元,写每T螭盘阵列的价格超过7000元。一个PC硬盘来做存储要做太多的工作,原因是首先你要把很多硬盘连在一起,还要考虑到这些硬盘可能会坏掉,可能不是350元具体的成本来说。
云计算如果是能够希望成为一种公共服务,它很重要的事情是,它要服务运营。所谓服务运营,我们希望云计算希望水、电、煤提供给大家。这样的方式后面有两个潜在的要求,第一个要求就是这个存储和计算必须是一种无差别的存储和无差别的计算。什么叫无差别的存储?我举个电的例子,大家看电视、看电脑都要用电,你们肯定没有说哪一种电是专门用看电视的,你们家连接220伏的电,计算没有成为公共服务,很重要的基础是计算要变成一种无差别的资源才可以。
另外,它必须要做到按需计算,就像交水、电费用一样,这样才能运营大规模推广的使用,这是服务的问题。阿里云这家公司我们的想法是,我们的云计算将来一定做成一家互联网点COM的公司,换句话说,我们一定不会像某家公司拿到云计算到企业做具体解决方案,这不是我们要做的事情。
我们为了解决这三个问题,我们就做了一个解决,这个系统叫飞天,这是博士三年前起的。主要想每个人还是带着梦想做事情,主要要做什么事情?简单来说还是很简单,我们想把上万PC机最后变成一台计算机,这就是我们要做的事情。这有什么好处?我们可能可以达到大于30PB的硬盘,当然还是很廉价。其次,有这样的硬盘,我们就可以把轻松存放10B的网页。其次一台多于12000核的机器,如果你在单机上跑,实际上跑的时间需要超过600个小时,今天放在这太所谓的超级计算上40分钟就跑完了,这就是我们希望云计算带给大家便利的感觉。
说了那么多,听上去非常美好,实际上大系统听听非常容易做,实际上背后有很多功能的挑战,我也很难在这么段会议里面把所有的内容讲清楚,我想给大家一个很简单的生活化的例子。这是一波人,他们不知天高地厚,他们从第一天开始就想做福布斯的系统,他们玩的系统很简单,他们就想把脚绑带一起,大家一起走路,这也是非常简单的事情。他们觉得这件事情很简单,基本上要做的事情就是单、双报数,唯一的事情就是同时迈,当人数足够多,每个人都觉得自己在迈脚,但实际上不怎么觉得,这其实是分布式系统遇到的第一个问题,就像同时性具有相对性,这是分布式的系统遇到的第一个挑战。
他们发现他们不同时之后,就会导致一个现象,就是有人在迈左脚,有人迈右脚,但有些人两只脚一起迈,就有人摔倒了,一个人正常走路,不可能两只脚一起迈,但是分布式系统里面这个概念很大,这是分布式系统遇到的第二个问题。这个常态有不好的事情,大家看前面的一张图里面,摔倒的人会把边上的人带着摔倒了,这也是分布式系统中间遇到的困难。
还有一个问题是,异构也会带来困难,当你把那么多人带倒了,我们发现有的人长得高,有的人长爹矮,就发现步伐不一样,就会带来困难。后来他们想了一个办法,他们让最高的人站在中间,最矮的人站在旁边,这就能平衡身高带来的问题。
还有很多动态环境下带来的不确定性,走着下面还有石头,或者刮风下雨,最后还是走到了终点。
我大概解释一下系统中间做遇到的问题,我们发现有一些网卡每一万个中间有五个包,到了分布式系统的时候这个事情变得很正常,这也是分布式系统可能会遇到的挑战。
我们做了这个系统,我今天抽最重要的介绍一下。其中就是盘古,我们大规模分布式文件系统,主要提供30PB级别的文件存储。然后有上亿级别统一的目录、文件可以放,然后基于多副本的数据安全性,刚才提到会有一些小概率的事情,我们解决小概率从方法论方法来讲,有两种方法,第一种是多副本,再说简单一点,就是一件事情多个人去做,或者说一个人事情重复去做,但是要保证这个事情最后做得是对的。
然后1000Gbps级别的高病发读写带宽,多用户的访问控制或存储额度管理。
另外简单介绍一下伏羲大规模分布式调度系统,第一是上万个核的并发计算能力;第二是动态环境下的多维度资源调度;第三基于DAG的任务执行框架;第四基于数据分片的在线服务运行框架,这两个框架讲一下,前者做离线状态处理,后者提供在线服务,我等一下讲应用会提到;第五程度运行中的自动故障恢复。
下面让我们看一下整个云计算OS,最底下是我们的数据中心,然后是每台操中系统的Linux,最下面是数据中心。我们在上面做的是搜索应用,google做的应用让全世界人都知道,通过网页存储到索引流程到搜索引擎,然后到飞天大规模分布式计算系统。
所谓的邮箱服务,这个地方非常强调邮箱的可用性,我们今天是把在飞天的计算系统上搭了一个开放存储的服务,以及开放表的服务,大家可以看一下。
所谓的开放数据处理服务,我们能报大量的作业,其中很重要的就是阿里金融的贷款就在这个服务上跑出来,在银行要给一个人贷几十万的人,要做很多人工的工作,我们在这个系统中一秒钟把十几万的贷款给贷出去了,很大程度上提高了计算的成本。
虚拟化服务,等一下陈波会详细介绍。最后一个是比较重要的就是我们的移动互联网,我们把整个云OS,除了在数据中心资源管理起来之外,我们还把它在手机端、移动端管理起来,连成一个整个的总体,然后连成一个框架。
我们回过头来看一,云计算解决三个问题,大规模、服务、运营。
这是飞天发展的历程,刚好是三年前的第一天,那个时候我们开始设计这个系统,10月24日是一个非常美妙的日子,这是2的10次方,我们希望我们不再是以10进制来计算,我们是以K来计算。我们今天终于能够把这个系统放出来,大概有1000万的扣额(恩)。云计算现在已经摆在大家的眼前,通过三年的努力开放出来,我们作出这样的系统最主要的原因还是希望提供给开发者,让他们有新的创新。因为云计算就像电的发明一样,我们在做电厂,电厂本身不重要,重要的是各种各样的电器发明,这才让别人感觉到什么是电。我们今天讲的是非常很烦琐的云计算,实际上是在开发者手里,是你们把云计算呈现大家,谢谢大家!
(举报)