首页 > 动态 > 关键词  > 阿里云最新资讯  > 正文

阿里云林晨曦:飞天是分布式大规模集群计算系统

2011-10-24 15:29 · 稿源:站长之家

站长之家(CHINAZ)10月24日报道:2011年10月24日,“2011中国互联网无线化峰会暨阿里云 开发者大会”在杭州海外海国际会议中心举行。本届大会由阿里巴巴集团、阿里云计算主办,云集全球互联网企业领袖、行业观察家与活动家、知名投资人、云计算 技术达人等各路精英,共同探讨云计算及互联网无线化的新未来。

本次阿里云开发者大会除主会场之外还设立了云计算专场、无线专场和社区电子商务专场,会议邀请了包括阿里巴巴集团董事局主席马云、阿里云计算总裁王坚、phpwind副总裁陈燎罕、易观国际董事长兼首席执行官于扬、DCCI 创始人胡延平、NTA创新传播机构创始人申音、化龙巷总经理钱钰、爱物网CEO王宏达等众多业内嘉宾参与。

以下是林晨曦的演讲稿:

大家下午好!

非常高兴今天有这么多的人一起来到杭州,一起来参加开发者大会。我今天下午会跟大家讲一下阿里云这边怎么看待云计算,我们为云计算做了多少工作?然后我们的题目叫运行千里,始于足下。云计算总没有什么东西出来,到底是不是看得见摸得着的东西。

我想在这里告诉大家云计算真的来了,这是我想讲的第一个含义。第二个含义,其次这样云计算的平台,其实是非常大的工程的东西,我想在这里给大家介绍一下阿里云这三年的时间里面究竟是如何一步一步云计算做出来的过程?这个过程其中一个系统就是我们这个飞天系统,在今天下午给大家介绍一下。

这里我们讲云计算的时代的到来,实际上是有很多的基础。其中最重要的第一个基础是跟互联网相关,实际上我们讲云计算是因为有了互联网这个东西能够成为基础之后的事情,很重要的是说,有了互联网之后人们就可以产生很多很多的数据,而这数据后面又对这个整个社会的改进,起到非常重要的作用。而云计算是在这个基础上延伸出来,如果它跟传统的网格计算去比较,它其实是一个很重要的数据密集型的计算。所以我们认为云计算到来的其中一个很重要的契机,是互联网后面起的作用。

第二,大家都知道人类第一台计算机有房子那么大,而之后有一家很伟大的公司,有一个叫比尔盖茨的人,他告诉我们每个人都可以有一台电脑,现在我们有了互联网,有了海量的数据,我们已经没有办法在个人电脑上去处理的这些数据,所以我们从PC转移到数据中心来,有成千上万的电脑而它成为新的时代下的计算机。这个计算机在整个世界范围内不会有太多台,不要紧,人们依然可以享受计算服务,计算有两个特点:第一是为差别的服务,第二它一定是需计费的,随时可以获取。我们从三年前开始下定决定做云计算事情。

最近大家都知道,苹果的iphone非常好,对于我们互联网不得不被动接受一件事情,就叫移动互联网,移动互联网叫做运营商和手机厂商摆在互联网的机会,云计算实际上一个很重要的技术基础去把互联网移动化。

其次,我们也发现云计算可能最好的生根发芽的地方,是在移动互联网上,于是这两件事情碰到一起,我们更加相信云计算平台马上展现在大家眼前。

因为很多人都在炒作云计算,每个IT公司都在这么说,云计算是什么东西?我想说自己的理解,阿里云的观点。我们觉得云计算本质上解决三个问题:第一是大规模的问题,什么叫大规模?我们先看一个简单的小例子,这是一个很简单的乘法题,基本上每个小学生都能搞明白,如果把ITB存储数据放大10000倍,就有10PB,空间上不可能买下来。如果另外一台电脑1DAY计算乘以10000,是否能解决时间上的问题。

我们要解决大规模的同时,我们要保证低成本,你可能去用一些高端的设备,去买一些集中式的存储来解决这些的问题,这个成本不是我们这个社会能够坚持去做这件事情的存储,1PB在中关村买350元,写每T螭盘阵列的价格超过7000元。一个PC硬盘来做存储要做太多的工作,原因是首先你要把很多硬盘连在一起,还要考虑到这些硬盘可能会坏掉,可能不是350元具体的成本来说。

云计算如果是能够希望成为一种公共服务,它很重要的事情是,它要服务运营。所谓服务运营,我们希望云计算希望水、电、煤提供给大家。这样的方式后面有两个潜在的要求,第一个要求就是这个存储和计算必须是一种无差别的存储和无差别的计算。什么叫无差别的存储?我举个电的例子,大家看电视、看电脑都要用电,你们肯定没有说哪一种电是专门用看电视的,你们家连接220伏的电,计算没有成为公共服务,很重要的基础是计算要变成一种无差别的资源才可以。

另外,它必须要做到按需计算,就像交水、电费用一样,这样才能运营大规模推广的使用,这是服务的问题。阿里云这家公司我们的想法是,我们的云计算将来一定做成一家互联网点COM的公司,换句话说,我们一定不会像某家公司拿到云计算到企业做具体解决方案,这不是我们要做的事情。

我们为了解决这三个问题,我们就做了一个解决,这个系统叫飞天,这是博士三年前起的。主要想每个人还是带着梦想做事情,主要要做什么事情?简单来说还是很简单,我们想把上万PC机最后变成一台计算机,这就是我们要做的事情。这有什么好处?我们可能可以达到大于30PB的硬盘,当然还是很廉价。其次,有这样的硬盘,我们就可以把轻松存放10B的网页。其次一台多于12000核的机器,如果你在单机上跑,实际上跑的时间需要超过600个小时,今天放在这太所谓的超级计算上40分钟就跑完了,这就是我们希望云计算带给大家便利的感觉。

说了那么多,听上去非常美好,实际上大系统听听非常容易做,实际上背后有很多功能的挑战,我也很难在这么段会议里面把所有的内容讲清楚,我想给大家一个很简单的生活化的例子。这是一波人,他们不知天高地厚,他们从第一天开始就想做福布斯的系统,他们玩的系统很简单,他们就想把脚绑带一起,大家一起走路,这也是非常简单的事情。他们觉得这件事情很简单,基本上要做的事情就是单、双报数,唯一的事情就是同时迈,当人数足够多,每个人都觉得自己在迈脚,但实际上不怎么觉得,这其实是分布式系统遇到的第一个问题,就像同时性具有相对性,这是分布式的系统遇到的第一个挑战。

他们发现他们不同时之后,就会导致一个现象,就是有人在迈左脚,有人迈右脚,但有些人两只脚一起迈,就有人摔倒了,一个人正常走路,不可能两只脚一起迈,但是分布式系统里面这个概念很大,这是分布式系统遇到的第二个问题。这个常态有不好的事情,大家看前面的一张图里面,摔倒的人会把边上的人带着摔倒了,这也是分布式系统中间遇到的困难。

还有一个问题是,异构也会带来困难,当你把那么多人带倒了,我们发现有的人长得高,有的人长爹矮,就发现步伐不一样,就会带来困难。后来他们想了一个办法,他们让最高的人站在中间,最矮的人站在旁边,这就能平衡身高带来的问题。

还有很多动态环境下带来的不确定性,走着下面还有石头,或者刮风下雨,最后还是走到了终点。

我大概解释一下系统中间做遇到的问题,我们发现有一些网卡每一万个中间有五个包,到了分布式系统的时候这个事情变得很正常,这也是分布式系统可能会遇到的挑战。

我们做了这个系统,我今天抽最重要的介绍一下。其中就是盘古,我们大规模分布式文件系统,主要提供30PB级别的文件存储。然后有上亿级别统一的目录、文件可以放,然后基于多副本的数据安全性,刚才提到会有一些小概率的事情,我们解决小概率从方法论方法来讲,有两种方法,第一种是多副本,再说简单一点,就是一件事情多个人去做,或者说一个人事情重复去做,但是要保证这个事情最后做得是对的。

然后1000Gbps级别的高病发读写带宽,多用户的访问控制或存储额度管理。

另外简单介绍一下伏羲大规模分布式调度系统,第一是上万个核的并发计算能力;第二是动态环境下的多维度资源调度;第三基于DAG的任务执行框架;第四基于数据分片的在线服务运行框架,这两个框架讲一下,前者做离线状态处理,后者提供在线服务,我等一下讲应用会提到;第五程度运行中的自动故障恢复。

下面让我们看一下整个云计算OS,最底下是我们的数据中心,然后是每台操中系统的Linux,最下面是数据中心。我们在上面做的是搜索应用,google做的应用让全世界人都知道,通过网页存储到索引流程到搜索引擎,然后到飞天大规模分布式计算系统。

所谓的邮箱服务,这个地方非常强调邮箱的可用性,我们今天是把在飞天的计算系统上搭了一个开放存储的服务,以及开放表的服务,大家可以看一下。

所谓的开放数据处理服务,我们能报大量的作业,其中很重要的就是阿里金融的贷款就在这个服务上跑出来,在银行要给一个人贷几十万的人,要做很多人工的工作,我们在这个系统中一秒钟把十几万的贷款给贷出去了,很大程度上提高了计算的成本。

虚拟化服务,等一下陈波会详细介绍。最后一个是比较重要的就是我们的移动互联网,我们把整个云OS,除了在数据中心资源管理起来之外,我们还把它在手机端、移动端管理起来,连成一个整个的总体,然后连成一个框架。

我们回过头来看一,云计算解决三个问题,大规模、服务、运营。

这是飞天发展的历程,刚好是三年前的第一天,那个时候我们开始设计这个系统,10月24日是一个非常美妙的日子,这是2的10次方,我们希望我们不再是以10进制来计算,我们是以K来计算。我们今天终于能够把这个系统放出来,大概有1000万的扣额(恩)。云计算现在已经摆在大家的眼前,通过三年的努力开放出来,我们作出这样的系统最主要的原因还是希望提供给开发者,让他们有新的创新。因为云计算就像电的发明一样,我们在做电厂,电厂本身不重要,重要的是各种各样的电器发明,这才让别人感觉到什么是电。我们今天讲的是非常很烦琐的云计算,实际上是在开发者手里,是你们把云计算呈现大家,谢谢大家!

举报

  • 相关推荐
  • 大家在看
  • Stable Diffusion 3 Free Online:AI创造性视觉的突破性AI

    Stable Diffusion 3是Stability AI推出的最新创新,为创造性图像生成带来突破性的AI。它提供了改进的文本到图像生成算法、多模态能力和用户友好的许可证,免费使用SDXLTurbo.ai。革新设计、动画、游戏等领域,提升文本到图像生成、多模态能力和用户友好的许可证。探索、创造、转化。

  • Platen.ai:AI写作,超越人类能力

    Platen.ai是一款AI写作工具,针对SEO进行优化,能够生成优化的内容,提高有机流量。它集成了作家、研究员和专业的SEO专家的功能,能够根据关键词生成高效的内容。使用Platen.ai,您只需输入关键词,即可轻松生成符合品牌声音和受众需求的SEO优化内容。

  • Ohai:AI增强角色扮演

    Ohai是一个AI增强的角色扮演平台,为用户提供与心爱角色进行有趣的互动故事和私密的一对一聊天。

  • Wikipedia Article AI:快速创建维基百科页面

    Wikipedia Article AI是一个易于使用的工具,几乎可以立即创建维基百科文章。它基于AI技术,根据维基百科的要求生成高质量的、经过事实核实的文章。价格相对于人工撰写的维基百科文章要便宜很多。

  • ZeST:图像材质迁移技术

    ZeST是由牛津大学、Stability AI 和 MIT CSAIL 研究团队共同开发的图像材质迁移技术,它能够在无需任何先前训练的情况下,实现从一张图像到另一张图像中对象的材质迁移。ZeST支持单一材质的迁移,并能处理单一图像中的多重材质编辑,用户可以轻松地将一种材质应用到图像中的多个对象上。此外,ZeST还支持在设备上快速处理图像,摆脱了对云计算或服务器端处理的依赖,大大提高了效率。

  • CleeAI:最准确可信赖的AI搜索引擎

    CleeAI是市场上最准确的AI搜索引擎,通过实时爬取网络提供快速准确的结果。即刻获取您需要的答案,将搜索时间缩短为零。

  • Sonauto :利用AI创作流行歌曲

    Sonauto 索纳托是一款结合人工智能技术的音乐创作平台,用户可以通过该平台轻松创作出流行歌曲。产品功能包括旋律生成、歌词创作、曲风选择等,旨在简化音乐创作流程,让音乐爱好者和专业人士都能快速创作出高质量的音乐作品。优势在于AI的高效算法和丰富的音乐素材库,支持用户进行个性化创作。定价方面,Sonauto 索纳托提供免费试用和付费订阅服务,以满足不同用户的需求。

  • August:, 你的健康伴侣

    August 是一个免费的健康人工智能平台,提供24/7的咨询服务。无论你面临健康问题、心理健康问题、营养与健身问题,还是需要支持和指导,August 都可以帮助你。它可以回答你的健康问题、提供个性化建议、定期关怀你的健康状态等。

  • robotika.ai:通过AI辅助做出明智的投资决策

    RoboFin是您的AI动力投资分析师。它通过分析大量的数据,提供基于数据分析的清晰可行的投资建议,帮助您做出明智的投资决策。RoboFin的优势包括减轻压力、节约时间、提高投资回报等。

  • GpuMall智算云:面向AI开发者的GPU云平台,高性价比,极致体验,计费灵活

    GpuMall智算云是一个面向AI开发者的GPU云平台,提供高性价比的计算资源,灵活的计费方式,以及弹性的调度能力,可以满足AI开发者的各种需求。用户可以在这里快速租用GPU资源进行AI模型训练和推理,并且可以根据实际使用情况灵活调整资源配置,达到最佳性价比。平台还提供了丰富的使用文档和在线客服支持,让用户使用起来更加便捷。

  • ACEPAL:个性化营销建议

    ACEPAL 是一个个性化营销建议平台,为数千个营销任务提供个性化建议。它利用动态提示生成器和优化聊天机器人来提升营销效果。ACEPAL 可以帮助分析Facebook、Twitter、LinkedIn、Instagram、Pinterest、TikTok和YouTube等平台的数据,并根据不同任务和变量提供定制化的营销建议。它的功能包括分析受众洞察、分析竞争对手策略、优化内容策略、提供最佳时机建议等。ACEPAL的价格根据用户需求定制,请联系我们获取详细定价信息。

  • LLM Transparency Tool:分析Transformer语言模型的内部工作机制

    LLM Transparency Tool(LLM-TT)是一个开源的交互式工具包,用于分析基于Transformer的语言模型的内部工作机制。它允许用户选择模型、添加提示并运行推理,通过可视化的方式展示模型的注意力流动和信息传递路径。该工具旨在提高模型的透明度,帮助研究人员和开发者更好地理解和改进语言模型。

  • JetMoE-8B:以低成本实现高性能的大型语言模型

    JetMoE-8B是一个开源的大型语言模型,通过使用公共数据集和优化的训练方法,以低于10万美元的成本实现了超越Meta AI LLaMA2-7B的性能。该模型在推理时仅激活22亿参数,大幅降低了计算成本,同时保持了优异的性能。

  • CTRL-F-VIDEO:在视频中快速搜索特定单词或短语

    CTRL-F-VIDEO 是一个开源项目,通过Chrome扩展实现在YouTube视频中搜索特定单词或短语的功能。它利用OpenAI的Whisper模型将音频转换为文本,并在视频时间条上标记出匹配词汇的位置,帮助用户节省查找信息的时间。

  • Breezemail:整理你的收件箱,AI分类

    Breezemail帮助你保持重要的邮件在收件箱内,并通过AI分类整理其余的邮件。我们训练了AI来识别对你重要的邮件,将其标记为重要邮件,并将其余的邮件自动组织到智能分类中。你可以使用预定义的分类,也可以创建自己的智能分类。Breezemail使用ChatGPT查询来组织你的邮件,不再需要复杂的过滤器和编程运算符来构建邮件标签。现在,你可以使用自然语言轻松创建自己的个性化超级高级分类。例如:“所有关于金融和投资的邮件”。Breezemail还提供了预定义的分类,帮助你无需努力就可以整理收件箱。订阅Breezemail,让我们的AI发挥魔力,相信你的收件箱会感谢你的。安全与隐私方面,Breezemail致力于保护您的安全和隐私。我们不会保留、出售或分析您的数据,除非与我们的公开可访问功能相关。我们不会展示广告,因为我们会为我们的服务收取公平的订阅费用。我们不会共享、出售或试图使您的数据匿名化,您的数据包括您的电子邮件地址、在您的邮箱中发现的电子邮件地址,以及电子邮件内容和附件。您的电子邮件内容仅由ChatGPT处理。我们使用ChatGPT来处理和分类您的电子邮件内容,所有包括文本、图片、附件等的电子邮件内容都直接发送到ChatGPT API,Breezemail不在服务器上处理或保留您的任何内容。您可以随时授予Breezemail访问您的邮箱,并且可以随时撤销。所有访问令牌都经过加密,仅用于执行与我们功能相关的操作。您的凭据也经过加密,以保护您的邮箱访问细节,使其对Breezemail内部的任何人都无法访问。订阅我们的通讯,获取有关Breezemail的更新。谢谢!

  • Somi AI:AI写作与助手工具

    Somi AI是最受欢迎的高等教育、市场营销人员、企业主、影响者和作家的AI写作软件工具。我们的AI助手引擎帮助您更好、更快地写作。

  • S&C - Gemini™ AI chat for Google™ search:在Google™搜索中与Gemini™ AI聊天

    S&C - Gemini™ AI chat for Google™ search是一款能够在Google™搜索中与Gemini™ AI进行聊天的插件。它提供Gemini™、ChatGPT™、Claude™和Pi™等多个聊天机器人,可以在搜索页面上直接与它们进行对话。插件支持Google™、Yahoo™和DuckduckGo™等搜索引擎,并且提供无限制的免费查询次数。

  • Jinno: code any React component with AI:用AI开发HTML或React组件,并与GPT4聊天

    Jinno是一个使用AI开发HTML或React组件的插件。它可以修改React、HTML和CSS代码。它支持React、CSS和JavaScript,并提供了颜色选择器、字体选择器、页面标尺等功能。可以导出React、HTML和CSS代码,适用于开发人员和设计师。

  • Free Email Extractor from Website:强大的免费网络电子邮件抓取工具,自动访问网站以快速提取批量电子邮件、电话号码和社交资料,支持域名到电子邮件查找。

    My Email Extractor是一个强大的免费网络电子邮件抓取工具,它可以自动访问网站并快速提取电子邮件、电话号码和社交资料。它支持从不同域名提取电子邮件,并将结果保存到CSV文件中。用户可以使用它来生成销售线索、进行市场研究以及数据自动化。My Email Extractor的准确性取决于数据来源,它实时从网页中收集电子邮件。

  • WizardLM-2:新模型,多种型号,AI驱动合成数据训练

    WizardLM-2是WizardLM推出的新一代大型语言模型,包含三种型号:8x22B、70B和7B。该产品采用AI驱动的合成数据训练系统,通过数据分析、加权抽样、渐进式学习和AI互校AI等方法,优化模型性能。它能够自动生成高品质的指令和响应,提供多样化的对话能力,适用于多种编程和开发场景。

今日大家都在搜的词: