首页 > 动态 > 关键词 > 社交网站最新资讯 > 正文

Facebook如何利用开源代码进行扩张?

2010-09-01 09:27 · 稿源:腾讯科技

腾讯科技讯(Kathy)北京时间8月31日消息,据国外媒体报道,当你必须扩大服务规模以应对日益增加的数据需求时,最好的参考对象可能就是Facebook了。这家社交网站最初只是为哈佛学生提供服务,现在它已经扩张到为约5亿用户服务。

用“5亿用户”这个数字来描述Facebook面临的扩展和存储需求可能并不充分。因此你可以看看下面这几个统计数字:用户每天在网站上花费的时间总计为80亿分钟,每周有35亿个内容被共享,每月上传的相片数量达25亿张,每秒有120万张相片被观看。而且,由于70%的Facebook用户在美国以外的地区,用户和数据中心所在的位置令处理和存储的数据量变得更加复杂。

因此毫不奇怪,某些传统的规模扩张方式对Facebook不起作用。如果用户互连的方式既是无法预测的,也是全球性的,你就不能简单地基于用户的位置,或基于用户将要使用的信息来共享数据库。

在Facebook发展的过程中,无论是在存储还是在交付内容方面,它都已经在开发了大量工具来处理数据,而且它还把其中很多工具开源了。根据Facebook的开源代码项目经理大卫·勒科尔(David Recordon)所述,Facebook一开始就是建立在开源代码技术的基础上的。但Facebook对开源代码的使用远远超出了LAMP堆栈(或甚至超出了LAMP堆栈加Memcached)的范围。Facebook曾开发并发布了几个开源项目,而且也深入参与了另一些项目的开发,其中最出名的也许就是Hadoop了。

下面就是Facebook的几个开源工具,它们大大提高了Facebook处理海量数据的能力:

Cassandra

Cassandra现在已经是Apache 软件基金会(Apache Software Foundation)的一个顶级项目。Cassandra是由很多数据库节点共同构成的分布式存储系统,可以支持比较丰富的数据结构, 是一种非关系型(NoSQL)数据库解决方案。设计Cassandra的最初目的是解决Facebook收件箱搜索的存储需要。

Hive

Hive是基于Hadoop的数据仓库平台,它的查询语言Hive QL类似于SQL,因此熟悉 SQL的人可以使用较丰富的查询方式来分析存储在Hadoop中的数据。Hive也是Apache 软件基金会的项目。

HipHop

为了节省服务器资源,Facebook开发了HipHop,它可以把PHP源代码转变成高度优化的C + +。HipHop在今年早些时候开源。

Scribe

Facebook的日志数据每天约为25万亿比特,其他工具难以处理如此大量的数据,所以Facebook开发了Scribe,以便从大量服务器上实时收集日志数据。

Thrift

Thrift是一个可伸缩的跨语言的服务开发框架,它目前是Apache的一个孵化器项目,

勒科尔表示,Facebook不仅努力开发内部新工具,也鼓励这些工具的外部发展和使用。不过可能很少有公司需要应对像Facebook那样巨大的数据存储和扩张需求,因此Facebook开源努力的意义在于建立一个“协作的可持续的发展模式”。

  • 相关推荐
  • 大家在看
  • 微软大力拥抱开源:但Windows 7开源永远不可能!

    虽然微软已经停止了对Windows 7非企业版的支持,但是想让他们因此对该系统开源,几乎没有任何可能。之前,自由软件基金会(FSF)甚至做好准备,打算接管Windows 7源码,该组织已于上周向微软邮

  • 中国开源激荡 20 年:IT 江湖,谁主沉浮?

    去年底,一国外程序员写的《中国的开源项目正在破坏 GitHub 的排行榜》博客引起国内开发者热议,他在博客对中国项目占领 GitHub 趋势榜进行了无奈的吐槽。

  • NDN要做开源社区里乘风破浪的「姐姐」

    从互联网诞生之始,科技巨头(中心化机构)就开始利用专利壁垒垄断了代码的拥有权。开源社区和区块链技术的兴起,终于突破了这层困缚已久的枷锁。从一定意义上说,开源代码才是如今互联网最为的核心基础设施。Richard Stallman领导了自由软件运动,Eric Raymond撰写了《大教堂与集会》,PC时代拥有 了Mozilla和Linux,移动互联网产生了Android操作系统,以及近几年比特币、以太坊等开源区块链项目,正是这些开源代码给人类社会带来

  • 为IoT设备管理而生,Rancher全新推出开源项目Octopus

    2019年,业界应用最为广泛的Kubernetes管理平台创建者Rancher Labs(以下简称Rancher)发布并开源了K3s,其发展非常迅猛,迅速赢得了开发者们的青睐,至今Github Star数已超过了13,300。作为一款轻量级的Kubernetes发行版,K3s拥有着丰富的应用场景,无论在研发侧,还是在数据中心侧,均可以代替原生Kubernetes,为用户提供更加便捷的K8S使用体验。在诸多应用场景中,最受关注的落地场景便是边缘计算。一直以来,Rancher致力于推动

  • 华为携手统信UOS国产系统:开源迈出一大步

    日前,openEuler技术委员会听过讨论决定,openEuler开源社区正式成立DDE SIG特别兴趣小组,进一步完善和丰富openEuler的桌面环境,而第一个维护者就是出品了国产操作系统UOS的统信软件。DDE S

  • 修罗开源论坛bbs.xiuno.com宣布关闭

    昨日,PHP开源论坛修罗开源(bbs.xiuno.com)宣布关闭,访问该网站显示:“国内什么时候有真正的开源环境了再见!”。资料显示,Xiuno BBS 4.0 是一款轻论坛产品,前端基于 BootStrap 4.0、JQuery 3,后端基于 PHP/7 MySQL XCache/Yac/Redis/Memcached...,自适应手机、平板、PC,有着非常方便的插件机制。

  • Facebook和广告主谈崩背后,谈谈社交平台和品牌的关系

    近期,Facebook站在了风口浪尖。由于Facebook放任仇恨性言论在平台上发布,且未做任何标签处理,导致多个品牌,如联合利华、Verizon、星巴克、可口可乐纷纷暂停在Facebook的广告投放。

  • ONVIF实行开源开发,助力互操作性工作的简化和扩展

    7 月 15 日,全球领先的IP物理安防标准化组织ONVIF宣布将实施其物理安防技术领域网络接口规范的开源。此举将简化管理和协作流程,同时还能有效利用全球开发者社区的集体创造力,更好地推动行业的发展。ONVIF互操作性规范已作为开放式标准供行业使用,并且作为通用的通信接口,广泛应用于设备和软件客户端之间,比如说,不同设备制造商的IP监控摄像头,视频管理软件和物理访问控制系统等。通过在线开源代码开发平台GitHub,有效地将

  • 开源节流,ColorOS 7.2 配合 VOOC 闪充带来持久续航

    2020 年 7 月 15 日,OPPO 公布 125W 超级闪充,5 分钟即可将电量充至 41%,20 分钟可充满手机,速度快得惊人。不可否认,在用户对手机的依赖程度加深,以及 5G 全面普及之时,手机续航成为了最显著的用户痛点之一。为了有效缓解用户续航焦虑,OPPO 不断投入研发,最终带来了充电更快的 VOOC 超级闪充,配合 ColorOS 7.2 系统级省电,能在 5G 时代给用户更安心的长续航体验。5G 时代,续航至关重要随着移动互联网的深入发展,用户?

  • 开源推荐 | 可实现门禁、AI测温敏捷开发的人脸识别应用套件

    随着人脸识别技术的不断发展,尤其是在部分算法平台对外开放算法之后,人脸识别的应用门槛得到了极大降低。但是从算法到一款真正可落地的人脸识别产品,在完整的应用开发中,不仅需要考虑底层算法的运行逻辑,也需要上层业务逻辑完整自洽。而这个从 0 到 1 的过程,往往会让大部分中下企业及开发者,在项目商用化落地过程中无从下手。因此,在这里推荐一款开源的人脸识别应用套件ArcFaceGo。基于该套件,可以快速甚至零代码搭建人?

  • 字节跳动称被Facebook抄袭

    昨日晚间,字节跳动表示:“字节跳动始终致力于成为一家全球化公司。在这个过程中,我们面临着各种复杂和难以想象的困难,包括紧张的国际政治环境、不同文化的碰撞与冲突、竞争对手 Facebook 的抄袭和抹黑。”

  • 程序员喜大普奔 Linux基金会确认开源技术不受美国出口管制

    美国滥用自己的管辖权给全球科技行业带来了极大麻烦,在这个全球合作的时代,如何单方面封禁都有可能引发严重的连锁反应。去年Github突然宣布开源代码也要受美国出口管制EAR,这让全球程序员都担

  • 中国科技云“第二届中国开源科学软件创意大赛”报名通知

    摘要: 报名时间:2020年7—2021年1月 || 主办单位:中国科学院计算机网络信息中心;协办单位:小米集团|| 以“人才创新、技术开源”为主题,以“发展中国科学软件生态”为目的,汇聚各种优秀国产开源软件。1.活动目的我国科研领域,长期以来依赖国外商业软件,对科研信息化的发展带来较大的阻碍。开源软件的开放性特点非常符合科研领域的软件需求,对于我国的许多高校和科研机构,是一种高性价比的解决方案。本次活动依托“中国科技云”科学?

  • 小米自研并开源!端上机器学习框架MACE将存放1000年

    7月17日消息,MIUI宣布小米自研并开源的端上机器学习框架MACE已经随着其他几百万个开源项目以数字光感档案胶片的形式被GitHub官方储存在北极代码仓库中,将保存1000年。1000年后的人类还能看到

  • 开源优麒麟20.10官宣:Linux 5.6内核、UKUI 3.0桌面环境正式版

    4月24日,优麒麟20.04 LTS长期支持版正式发布,接下来自然就是优麒麟20.10。这将是优麒麟官方发布的第16个版本,代号Groovy Gorilla(极好的大猩猩),目前正处于开发阶段。优麒麟20.10是一个短

  • 外媒:Facebook Reels完全山寨TikTok 简直就是翻版

    TikTok在美国前途未卜,Facebook已经火速推出一款Instagram Reels。今日,外媒福布斯发文称,从某种意义上来说,这就是“克隆”。福布斯表示,虽然应用图标不同,但体验完全是一样的

  • 《福布斯》:Facebook山寨TikTok太过仓促

    据《福布斯》报道,TikTok前途未卜之际,Facebook趁机在法国、日本、德国、英国和美国等全球50多个国家推出自己的短视频Instagram Reels,然而据Instagram用户曝光,除了图标不一样,该应用几乎是TikTok的翻版,两者的体验完全一致。Instagram Reels作品带有Tik Tok与Tik Tok一样,Instagram Reels允许用户根据音乐或音频创建15秒长的视频,支持相似的滤镜及特效。

  • Facebook推出互联网怀旧应用E.gg

    据外媒报道,Facebook推出了一款奇怪的新应用,它将把 90 年代的互联网带了回来。E.gg是Facebook的实验应用团队New Product Experimentation的最新作品,旨在让人们重新获得早期网络的那种氛围。

  • Facebook独立审计曝光:打击歧视不力 部分决定是民权上的倒退

    由Facebook公司委托实施的独立审计报告显示,Facebook未能采取足够措施来打击平台上的歧视行为,其部分决定是民权上的倒退。《纽约时报》已经获得了一份正式发布前的审计报告结果。这一审计师报告很可能会让Facebook承受更多压力,该公司已经面临900家广告商的抵制,包括了可口可乐等大品牌,原因民权活动人士指控Facebook宣传仇恨言论。“多年来,民权领域的许多人不断恳求Facebook在保

  • 字节跳动称被Facebook抄袭和抹黑 仍坚持全球化

    8月3日消息,近来字节跳动全球化陷入困局,微软计划收购TikTok的谈判也悬而未决。对此,字节跳动官方深夜发声,强调字节跳动对于全球化的坚持。字节跳动称,字节跳动始终致力于成为一家全球化公司。在这个过程中,我们面临着各种复杂和难以想象的困难,包括紧张的国际政治环境、不同文化的碰撞与冲突、竞争对手Facebook的抄袭和抹黑。尽管如此,字节跳动表示,仍然坚守全球化的愿景,不断加大包括中国在内的全球各地市

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签