站长之家首页 > 评论 > 阿里最新资讯 > 正文

阿里开源十年激荡史

2019-10-24 09:02 · 稿源:InfoQ公众号

黑客 代码 安全漏洞 程序

声明:本文来自于微信公众号InfoQ(ID:infoqchina),作者:赵钰莹, 授权站长之家转载发布。

这就是阿里那群嚷嚷要做开源的“赶集人”。

在圈内,开源一度被称为“集市”。相对封闭严格的传统企业 IT 文化,开源更强调自由开放的社区文化。InfoQ 追踪阿里巴巴多年,找到了阿里巴巴整个开源发展过程中的数位关键”赶集人“,试图了解这一中国近十年极具代表性的科技公司的开源历史。

过去十年,阿里巴巴经历了淘宝的壮大,阿里云计算的成立,上市,双 11 节节攀升的流量,每一个阶段都有其存在的意义和目标,开源也随着这些变化而在不同的时期表现出不一样的状态。不变的是,阿里这群“赶集人”探索出了一条自主开源的道路,一走就是十个年头。

开源的拓荒者们

2008 年——2010 年:Dubbo 初出茅庐,Fastjson 还在酝酿,一众有着开源精神的开发者加入

2008 年对中国人来说是复杂的一年,冰灾,大地震,奥运会接踵而至。这一年,Dubbo 项目诞生了,只是当时还没有叫 Dubbo 这个名字,还是阿里内部的一个系统,所有人恐怕都想象不到,这个项目日后可以成为阿里巴巴整个开源历史最好的“见证者”,并在十年后得到了如此多开发者的欢迎。

这一年,Ant Design 项目的核心推动者玉伯赶在奥运会排查临时人口之前,从北京中科院软件所离开,凭着自己几年来在程序开发上的经历和对新兴前端行业的看好,来到杭州加入了淘宝 UED —— 彼时中国最好的前端团队。

这一年,Fastjson 和 Druid 项目的核心推动者高铁还在金蝶用 Java 开发一些基础组件;而如今 Flink 项目的核心推动者莫问早已因为马云在校招宣讲会上一场激情满满的演讲而热血沸腾,随后选择加入这家在北京还没有多少人的公司;《Java 开发手册》的主要作者孤尽也还不知道自己会在毕业之时依靠“霸面”进入阿里巴巴。

2009 年,Dubbo 团队的主要工作就是修复 Bug。2010 年,整个团队觉得这套架构实在是不堪重负,于是决定重写。

行业技术领袖章文嵩博士的到来,为阿里带来了他深耕多年的开源理想。他认为开源不仅能让技术本身受益,也会帮助让技术人成长。在章文嵩博士的大力倡导和支持下,开源文化在阿里这片土壤上逐渐萌芽,并有了健壮的生命力。当时的淘宝和阿里 B2B,已经有很多团队在推动开源。阿里 B2B 决定先将 Dubbo 项目开源出去,于是在 2011 年,整个团队陆续对文档做了系统化的梳理,但并没有进行大规模的强推广。

总体来看,这一时期,阿里巴巴的整个开源还处于朦胧状态,但已经有了初步探索,一批有着开源精神的工程师陆续加入。马云也把王坚从微软亚洲研究院常务副院长的位置挖来,开始计划如何解决计算力的问题,这是当时整个公司面临的重大危机,而阿里云就在这个契机诞生了。

2009 年 9 月 10 日,阿里巴巴集团庆祝创立十周年,同时成立阿里云计算。这一年,还没有多少人认为云计算可以搞得起来,更别提推动开源的发展了。

一众开源项目涌现

2011 年——2012 年:Dubbo 的用户越来越多,Fastjson 正式开源,开始基于 Hadoop 和 HBase 构建大数据体系

“阿里云成立之后,我感受最深的就是自研技术体系(飞天)的建立,这是我第一次强烈感觉到阿里非常重视技术,这个阶段也培养了很多技术实力很强的人才,也让我感受到阿里的技术体系越来越开放”,大数据实时计算引擎 Flink 带头人的莫问如是说道。

玉伯、高铁、孤尽、莫问...... 这群有着技术实力的开发者,同时有着强烈的开源情怀,他们的加入让阿里巴巴内部自发掀起了一波开源的高潮。这段时间,阿里巴巴内部出现了一众不错的开源项目,Fastjson、Druid、Sea.js、Arale 等。

“最开始进行软件开发时,我没有参与到太多的开源工作中,但一直对 Linux 有所接触,受到开源精神的影响,当时就觉得开源是一件非常伟大的事情,阿里内部当时的开源项目主要来自于淘宝系和 B2B 系。当时的淘宝系选用 GPL 协议居多,而 B2B 系选用 Apache 协议的比较多,我当时也就给 Fastjson 选了 Apache 的协议,而做 Druid 的时候其实没想开源,刚好当时 B2B 平台有一个开源计划,就一起开源出去了。”高铁如是说。

这个时期,另一边的支付宝也在试图逃离闭门造轮子的怪圈。技术环境的割裂造就了前端基础技术的风潮和大量岗位,与当时国内大多数的前端团队一样,支付宝也在闭门造自己的前端轮子,大量借鉴了 YUI 的组件架构体系,底层使用了 Java 生态里的 MVN 进行依赖管理和构建,所有的轮子和钉子都要内部自造,和前端社区越来越远,而解决方法就是开源。

2012 年 4 月 29 日,玉伯发了条微博,宣布要用开源的方式打造支付宝下一代前端框架,这在当时是非常激进的。

后来,Sea.js/Arale/spm 套件开始在支付宝内部和国内开源界发展起来。

与此同时,Dubbo 也迎来了发展的小高峰,用户越来越多,包括做汽车的、做证券的、搞水泥、电器,甚至有公司愿意为 Dubbo 付钱,希望出现问题可以请团队的开发人员帮忙。

这一时期不仅出现了很多优秀的开源项目,阿里巴巴的开发者也开始积极贡献开源。莫问回忆道:“最开始,我们整个团队做开源并不是从 Flink 才开始的,早在 2010 年,我们就开始用开源的 Hadoop 和 HBase 搭建大数据体系,用于处理搜索场景中的数据,并把我们实践成果贡献给社区。”

相较于开源事业进展得如火如荼,阿里云的进展却并不顺利。从 2010 年到 2012 年,阿里云经过了最艰苦的三年。由于没有成绩进展,阿里云整个部门连续几年都在集团拿最低分,辞职信和转岗书陆续出现在王坚的邮箱里,几乎所有人都认定阿里云不可能做出一套云计算系统。

整个国内此时对云计算都没有太多感觉,对移动互联网的发展倒是颇为上心。

2012 年的双11,天猫淘宝的总交易额从 2011 年的 52 亿人民币上升到 191 亿,打破了全球网购单日交易额记录,阿里坐稳了中国电商时代的霸主位置。

这时,移动化的浪潮来了。

在很多人还没有回过神的时候,微信在 2013 年 3 月份实现了用户过亿。当时的淘宝也做了手机端,但定位更多是“多端”,意思是主要在电脑上,只是附加了手机端可以实现一些简单的功能。所有人都感受到了移动化将带来的巨变,阿里也开始寻求改变。

2013 年,整个支付宝乃至阿里的所有业务平台都走到了十字路口,集团宣布:ALL IN 无线。

一场变革就此拉开序幕......

巨变来临

2013 年——2016 年 :支付宝前端解体,集团强化 One Company 开始进行架构调整,不少项目合并,开源进展缓慢。

在“ALL IN 无线”战略宣布之前,前端和业务的结合非常紧密,UED 和设计在公司拥有很高的话语权,每半年搞一次前端性能优化战役。在《那些年的体验设计部》系列文章中对这一时期的描述是:

这是个一行 JS 代码的错误就可以造成全站交易下跌的时代,也是 PC 前端们最后的黄金时代。

在“ALL IN 无线”战略宣布之后,很多人被从原有部门放到战场最前线,有人不适应走掉了,后续的再补上。60 个人左右的支付宝前端开发部面临解体,一半以上的人被抽调支持支付宝无线业务。面对巨大的变化,整个团队人心涣散,所有人都面对非常艰难的抉择:留下还是离开?

最终,玉伯还是决定和剩下的 17 个人一起留在了这个团队,支持主要迭代是给各种页面加二维码的 PC 端业务和进入死胡同的自研前端技术体系。调整完的第一次周会,所有人都很沉默,比起鼓起勇气做抉择离开的人,留下的人的心态更多是未知和拥抱变化。

除了人员调整,当时的阿里巴巴集团要强化 One Company,开始进行架构调整。技术层面,整个公司大统一,就希望不要重复建设,但凡相同的项目都要合并。以 Dubbo 为例,当时的淘宝有一个项目叫做 HSF,也是一个中间件服务框架,跟 Dubbo 做的事情高度重合。

HSF 项目的作者林昊(毕玄),也是当时国内 Java 领域的知名技术领袖。在 OSGi 非常流行的时候,毕玄可能是国内能够把 OSGi 解释的最清楚的人之一。HSF 和 Dubbo,虽然做的事情高度重合,但是设计理念不怎么一样,虽然有些碰撞,但最终目的还是为了“强强联合”。

不久之后,Dubbo 团队调整,去到了各个地方。从外面看来,Dubbo 项目从 2014 年之后就再也没有更新过。

整个公司的变动让很多开源项目的维护人员发生变化,有些项目在这个过程中进展缓慢,有些则停滞不前。

在这些调整之后,阿里巴巴迎来了里程碑式的一年。

2014 年 9 月 19 日,阿里巴巴集团于纽约证券交易所正式挂牌上市,股票代码“BABA”。

在这之后的几年时间内,阿里巴巴的业务进入高速发展阶段:与蚂蚁金服集团完成重组,蚂蚁金服成为支付宝的母公司;阿里健康成为阿里巴巴集团的子公司;阿里巴巴集团与蚂蚁金融服务集团联合宣布成立“口碑”;宣布成立阿里音乐集团;收购优酷土豆集团;正式成立阿里大文娱...... 大量开发者开始将精力投入到业务发展中,很难有时间和精力来做开源,尤其是当这个项目和个人的 KPI 毫无关系时。

与此同时,一直在北京办公的莫问也遇到了问题,业务做得不甚理想,于是决定拉上另一个小伙伴一起研究 Flink。当时,莫问身在阿里最核心的前线战场——搜索团队,因为觉得“快”是未来很重要的趋势,所以坚定地投入到实时计算的研究中。如上文言,Flink 项目最早启动时,只有两个人。

莫问说道:“一个项目肯定要有资源,也就是人,但那会儿想在阿里找几个有实力还有时间的人实在太难了。阿里内部的竞争也非常激烈,业务发展很快,从写下 Blink(Flink 在阿里的内部版本)第一行代码开始算,也只有大半年的时间准备,然后就需要支持第二年的双11。”

在 Flink 整个团队逐渐迭代,慢慢发展的过程中,孤尽也开始了《Java 开发手册》的漫漫推广路。

“2016 年 3 月,我在 ATA(注:阿里内部技术论坛)上发表了第一版《阿里巴巴集团 JAVA 技术规范》。觉得好的人有之,觉得不好的也很多。还有人觉得我胆子太大了,去知乎发帖,问孤尽是谁,怎么敢给整个阿里集团写技术规范?

每次被群嘲,晚饭我就让食堂阿姨多给我打两个鸡腿,安慰一下自己。有批评,证明有关注,有关注,就有希望。

那个时候,一个部门一个部门的去游说,失败了一次,就试第二次。失败了 99 次,那也还要再试一次,没别的,凑个整数呗。”

在这个过程中,阿里巴巴将开源从最早期的个人行为逐渐发展成组织行为,但还未在集团层面推出统一的规划。很多开源项目也在与商业价值的碰撞中渐渐迷失,找不到继续下去的动力。

与开源的低沉相对的,是阿里云的沸腾。2015 年,在计算界的奥运会 Sort Benchmark 中,阿里云计算 100TB 数据排序只用了不到 7 分钟,把 ApacheSpark 之前创造的 23 分钟世界纪录缩短了一多半。结果很明显,阿里云成为了国内第一家拥有完整云计算能力的企业。

  • 大家在看
  • 相关推荐
  • 腾讯首度披露开源协同成果 内部代码开源率提升至70%

    腾讯今日对外发布《腾讯研发大数据报告》,披露了2019 年公司在产品及技术研发方面的重要数据,据悉,这也是腾讯自技术委员会成立以来第一次主动对外披露研发相关大数据。

  • 淘宝联合阿里妈妈推出商家流量扶持 充值200返100红包

    全网流量扶持政策来了!继淘宝宣布免费 0 账期服务延长至 6 月 30 日之后,淘宝再出中小商家扶持政策!今天,淘宝联合阿里妈妈推出商家流量扶持,用直通车、钻石展位、超级推荐等营销资源对商家进行流量扶持。

  • 拼多多回应阿里封员工淘宝账号:楼下依图科技IP也被风控

    昨日,针对“阿里封拼多多员工淘宝账号”一事,拼多多回应称,淘宝把拼多多小二们全家的手淘App给禁了,就连楼下的依图科技的IP也中招了。此外,拼多多还在文中表示,淘宝APP涉嫌抄袭拼多多的多多果园、百亿补贴、省钱月卡、分享领现金、霸道总裁系列分享文案。

  • 拼多多员工称被淘宝风控账号 阿里回应:对违规行为说"不"

    据媒体报道,有认证为拼多多员工的网友称,自己的账号被淘宝封禁,表现包括领不了任何优惠券,无法在聚划算百亿补贴等类目下单。

  • openEA流程应用开发平台 开源引领新潮流

    近年来,随着云计算、大数据、人工智能、物联网等新一代信息技术蓬勃发展,中国企业一直在不断增加其在世界开源软件界的贡献度及话语权,许多企业已经完成了从参与者向贡献者、成长者的升级,成为一些开源社区的重要成员、关键成员,发挥了骨干作用,在openEA开源社区里也不例外。生态背景新华三集团深耕行业三十余年,支持运营商、政府、金融、电力、能源、医疗、教育、交通、互联网、制造等百行百业数字化转型实践,产品和解决方

  • 重磅!“神策数据开源社区”官网正式上线!

    近日,神策数据开源社区官网(Sensors Data Open Source)正式上线。神策数据开源社区是一个关于数据采集的开放社区,致力于帮助企业构建数据根基,网址:http://opensource.sensorsdata.cn。立足于重构中国互联网数据根基的愿景,神策数据十分重视基础数据的采集与建模。我们希望将一些成熟的技术与国内外开发者交流与共享,并已于 2019 年 1 月正式成立供IT开发者们分享、使用与交流技术的开源社区——神策数据开源社区(Sensors D

  • 阿里巴巴:截至2月26日,淘宝天猫已售出5.6万吨滞销农产品

    阿里巴巴称,截至2月26日,淘宝天猫推出的“爱心助农计划”已售出5. 6 万吨滞销农产品,其中安徽萧县胡萝卜两天销售 500 吨。此前 2 月 6 日,阿里巴巴在全国发布“爱心助农计划”,为全国滞销农产品打造“爱心助农专线”。

  • 旷视发布开源深度学习框架天元 降低AI开发门槛

    旷视科技今日下午举办线上发布会,正式宣布开源新一代AI生产力平台Brain++的核心深度学习框架旷视天元(MegEngine),成为全球首个将底层框架开源的人工智能企业。

  • 怀疑开发者在“造核弹”?GitHub不断封禁开源项目

    继去年封禁伊朗等地区账号后,GitHub 今天再次封禁了一个属于微软的前端开源项目 Aurelia,理由是项目中有两名来自伊朗的外部贡献者。虽然 GitHub 首席执行官致歉表示“这次的确是个错误”,但是开发者们显然不买账:GitHub 封禁项目的行为是否太随意了?这样的行为难道不是与开源信念背道而驰吗?

  • 木兰 Mulan PSL 为何能成中国首个国际通用开源协议

    ​2 月 14 日,开源促进会(OSI,Open Source Initiative)批准了来自中国的木兰开源许可证第二版(MulanPSL v2),木兰许可正式成为一个国际化开源软件许可证(或称“协议”)。这意味着中国现在拥有了具有国际通用性、可被任一国际开源基金会或开源社区支持采用,并为任一开源项目提供服务的开源许可证。

  • 淘宝回应崩了 淘宝官方是怎么回应的?

    3月10日上午,有网友通过社交平台反应淘宝手机App出现无法登录,页面刷新不了等异常情况,疑似是“崩了”,对于淘宝官方很快在中午进行了回应。

  • 2019 年开源软件漏洞增长近 50%,C 语言漏洞占比最高

    ​WhiteSource 通过对 650 多个开发人员进行了调查,并从 NVD(Nartional Vulnerability Database)、安全公告、经过同行评审的漏洞数据库、问题跟踪程序等渠道收集了数据之后,整理发布了一份研究报告。该报告显示,2019 年公开的开源软件漏洞数已激增至 6000 多个,同比增长了近 50%。

  • 腾讯多媒体实验室重磅开源视频质量评估算法DVQA

    近日,腾讯多媒体实验室设计的基于深度学习的全参考视频质量评估算法DVQA在Github上正式开源,该算法模型的性能目前在公开测试数据集上取得业界领先成绩。开源地址:https://github.com/Tencent/DVQA国内镜像地址:https://git.code.tencent.com/Tencent_Open_Source/DVQA(登录后才能访问公开项目)腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像视听时代,音视频应用越来越广泛:直播、短视频、视频节目、音

  • 淘宝特价版

    淘宝特价版是淘宝于 2019 年 3 月推出内测的一款APP,简单地说就是淘宝的“低价版”。主打低价商品、九块九包邮,提供更高性价比的商品推荐。3 月 26 日,淘宝特价版将正式推出,主打超低价白牌商品,将由C2M事业部统筹。近日,淘宝特价版一下冲到了苹果应用商店免费App的第六位,超过微信、抖音、快手等。从 3 月 22 日起,淘宝特价版已连续多日在电商榜中排名第一。

  • 腾讯送硬币抽中阿里巴巴 阿里调侃:有蹭粉丝嫌疑

    昨日,腾讯B站官方账号发布了一条动态,公布了“7K硬币”的抽奖结果。有意思的是,在中奖名单中,赫然出现了阿里巴巴的官方账号。对此,阿里巴巴回复称:“给力!你是我见过唯一不歧视商业账号的抽奖方!虽然我怀疑你有蹭我粉的嫌疑。但我还是要转发!”

  • 淘宝特价版是山寨的?淘宝回应:这真是我亲兄弟

    最近,有网友向淘宝反映称,淘宝被抄袭了,并称APP又丑又山寨,而且还该应用还冲到了苹果App Store购物榜第一。随后,淘宝官方回应称:“大水冲了龙王庙,这真是我亲兄弟。不过怎么排名比我还高?!酸了,让我怎么当大哥。”

  • 淘宝回应崩了 淘宝回应:内心不崩,一切都好

    3月10日上午,不少网友表示淘宝手机App客户端出现了各种异常,比如页面无法刷新,闪退等情况,对于网友反馈的问题,淘宝官方回应称“感受到大家剁手的热情了,内心不崩,一切就好!对淘宝的爱来的更猛一些吧。我们准备好了! ”

  • 淘宝特价版发布 为表庆祝抽一位“淘宝欧皇”

    今天,淘宝特价版正式发布了。为了庆祝“丑弟”顺利出道,淘宝官微宣布在微博发起抽奖活动,并于 4 月 1 日抽出一位“淘宝欧皇”。获奖者将获得 1000 条辣条、 1000 包膨化食品、 1000 包抽纸、 1000 片卫生巾、 1000 个洁厕灵、 1000 个避孕套等,共计近 10000 万件宝贝。

  • 旷视科技宣布开源新一代AI生产力深度学习框架“天元”

    3月25日下午,旷视科技举办线上发布会,宣布开源新一代AI生产力平台Brain++的核心深度学习框架旷视天元(MegEngine)。天元框架通过训练、推理一体化的机制省去模型转换的过程,可直接将训练后的模型进行推理,并保证跨设备的模型精度对齐,同时天元内置自动模型优化、简化流程,减少因手工操作的机会,降低出错概率。

  • 阿里打美,支付宝入局,阿里为什么盯着美团不放?

    美团从来不是阿里巴巴的严格意义上的竞争对手,也不是支付宝的对手,但 10 岁的美团是阿里巴巴的肉中刺,时不时的扎一下,本地生活的这块脏活累活也不是阿里巴巴擅长的,所以阿里先 95 亿天价买了饿了么,又重启了口碑,淘宝天猫高德支付宝的全家桶全部都给饿了么导流,但仍架不住饿了么的颓势,DCCI数据显示美团外卖的市场份额从2017Q4 的53.9%上升至 2019 年Q1 的64.6%,美团的市值也从上市初的 483 亿蹿升至 739 亿。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议