首页 > 系统 > 关键词 > 大型网站架构最新资讯 > 正文

大型网站架构不得不考虑的10个问题

2010-03-08 16:04 · 稿源:中国站长站综合

这里的大型网站架构只包括高互动性高交互性的数据型大型网站,基于大家众所周知的原因,我们就不谈新闻类和一些依靠HTML静态化就可以实现的架构了,我们以高负载高数据交换高数据流动性的网站为例,比如海内,开心网等类似的web2.0系列架构。我们这里不讨论是PHP还是JSP或者.NET环境,我们从架构的方面去看问题,实现语言方面并不是问题,语言的优势在于实现而不是好坏,不论你选择任何语言,架构都是必须要面对的。

这里讨论一下大型网站需要注意和考虑的问题

1、海量数据的处理

众所周知,对于一些相对小的站点来说,数据量并不是很大,select和update就可以解决我们面对的问题,本身负载量不是很大,最多再加几个索引就可以搞定。对于大型网站,每天的数据量可能就上百万,如果一个设计不好的多对多关系,在前期是没有任何问题的,但是随着用户的增长,数据量会是几何级的增长的。在这个时候我们对于一个表的select和update的时候(还不说多表联合查询)的成本的非常高的。

2、数据并发的处理

在一些时候,2.0的CTO都有个尚方宝剑,就是缓存。对于缓存,在高并发高处理的时候也是个大问题。在整个应用程序下,缓存是全局共享的,然而在我们进行修改的时候就,如果两个或者多个请求同时对缓存有更新的要求的情况下,应用程序会直接的死掉。这个时候,就需要一个好的数据并发处理策略以及缓存策略。

另外,就是数据库的死锁问题,也许平时我们感觉不到,死锁在高并发的情况下的出现的概率是非常高的,磁盘缓存就是一个大问题。

3、文件存贮的问题

对于一些支持文件上传的2.0的站点,在庆幸硬盘容量越来越大的时候我们更多的应该考虑的是文件应该如何被存储并且被有效的索引。常见的方案是对文件按照日期和类型进行存贮。但是当文件量是海量的数据的情况下,如果一块硬盘存贮了500个G的琐碎文件,那么维护的时候和使用的时候磁盘的Io就是一个巨大的问题,哪怕你的带宽足够,但是你的磁盘也未必响应过来。如果这个时候还涉及上传,磁盘很容易就over了。

也许用raid和专用存贮服务器能解决眼下的问题,但是还有个问题就是各地的访问问题,也许我们的服务器在北京,可能在云南或者新疆的访问速度如何解决?如果做分布式,那么我们的文件索引以及架构该如何规划。

所以我们不得不承认,文件存贮是个很不容易的问题

4、数据关系的处理

我们可以很容易的规划出一个符合第三范式的数据库,里面布满了多对多关系,还能用GUID来替换INDENTIFY COLUMN 但是,多对多关系充斥的2.0时代,第三范式是第一个应该被抛弃的。必须有效的把多表联合查询降到最低。

5、数据索引的问题

众所周知,索引是提高数据库效率查询的最方面最廉价最容易实现的方案。但是,在高UPDATE的情况下,update和delete付出的成本会高的无法想想,笔者遇到过一个情况,在更新一个聚焦索引的时候需要10分钟来完成,那么对于站点来说,这些基本上是不可忍受的。

索引和更新是一对天生的冤家,问题A,D,E这些是我们在做架构的时候不得不考虑的问题,并且也可能是花费时间最多的问题。

6、分布式处理

对于2.0网站由于其高互动性,CDN实现的效果基本上为0,内容是实时更新的,我们常规的处理。为了保证各地的访问速度,我们就需要面对一个绝大的问题,就是如何有效的实现数据同步和更新,实现各地服务器的实时通讯有是一个不得不需要考虑的问题。

7、Ajax的利弊分析

成也AJAX,败也AJAX,AJAX成为了主流趋势,突然发现基于XMLHTTP的post和get是如此的容易。客户端get或者post 到服务器数据,服务器接到数据请求之后返回来,这是一个很正常的AJAX请求。但是在AJAX处理的时候,如果我们使用一个抓包工具的话,对数据返回和处理是一目了然。对于一些计算量大的AJAX请求的话,我们可以构造一个发包机,很容易就可以把一个webserver干掉。

8、数据安全性的分析

对于HTTP协议来说,数据包都是明文传输的,也许我们可以说我们可以用加密啊,但是对于G问题来说的话,加密的过程就可能是明文了(比如我们知道的QQ,可以很容易的判断他的加密,并有效的写一个跟他一样的加密和解密方法出来的)。当你站点流量不是很大的时候没有人会在乎你,但是当你流量上来之后,那么所谓的外挂,所谓的群发就会接踵而来(从qq一开始的群发可见端倪)。也许我们可以很的意的说,我们可以采用更高级别的判断甚至HTTPS来实现,注意,当你做这些处理的时候付出的将是海量的database,io以及CPU的成本。对于一些群发,基本上是不可能的。笔者已经可以实现对于百度空间和qq空间的群发了。大家愿意试试,实际上并不是很难。

9、数据同步和集群的处理的问题

当我们的一台databaseserver不堪重负的时候,这个时候我们就需要做基于数据库的负载和集群了。而这个时候可能是最让人困扰的的问题了,数据基于网络传输根据数据库的设计的不同,数据延迟是很可怕的问题,也是不可避免的问题,这样的话,我们就需要通过另外的手段来保证在这延迟的几秒或者更长的几分钟时间内,实现有效的交互。比如数据散列,分割,内容处理等等问题。

10、数据共享的渠道以及OPENAPI趋势

Openapi已经成为一个不可避免的趋势,从google,facebook,myspace到海内校内,都在考虑这个问题,它可以更有效的留住用户并激发用户的更多的兴趣以及让更多的人帮助你做最有效的开发。这个时候一个有效的数据共享平台,数据开放平台就成为必不可少的途径了,而在开放的接口的情况保证数据的安全性和性能,又是一个我们必须要认真思考的问题了。

  • 相关推荐
  • 大家在看
  • Serverless架构的前世今生

    一、Serverless简介云计算的不断发展,涌现出很多改变传统IT架构和运维方式的新技术,而以虚拟机、容器、微服务为代表的技术更是在各个层面不断提升云服务的技术能力,它们将应用和环境中很多通用能力变成了一种服务。但无论这些技术应用在哪里,帮助企业“降本增效”是技术变革永恒的主题。Serverless架构的出现,带来了跨越式的变革。Serverless下主机管理、操作系统管理、基础软件的部署运维、资源分配和扩缩容能力全部由云厂?

  • 飞猪组织架构调整,庄卓然任飞猪总裁

    近日阿里旗下的飞猪平台进行组织架构调整,本次调整就包括原飞猪总裁赵颖将不再担任该职务,接任者为阿里巴巴集团副总裁、阿里文娱CTO兼优酷COO庄卓然。

  • 飞猪回应组织架构调整:系集团内正常轮岗

    飞猪近日进行了一轮组织架构调整,其中阿里巴巴集团资深副总裁、蚂蚁金服国际事业群总裁赵颖(芷雪)不再兼任飞猪总裁,未来将专注于蚂蚁金服国际业务;阿里巴巴集团副总裁、阿里文娱CTO兼优酷COO庄卓然(南天)接任飞猪总裁。对于该组织架构调整,飞猪方面回应称,系集团内部正常轮岗。

  • 飞猪回应“组织架构调整”:集团内部正常轮岗

    今日,针对“组织架构调整”的报道,飞猪回应称,系集团内部正常轮岗。此前,有媒体报道称,飞猪已进行一轮组织架构调整,其中包括飞猪总裁由阿里巴巴集团副总裁、阿里文娱CTO兼优酷COO庄卓然(花名:南天)接任;阿里巴巴集团资深副总裁、蚂蚁金服国际事业群总裁赵颖(花名:芷雪)不再兼任飞猪总裁,未来将专注于蚂蚁金服国际业务。

  • 淘宝直播将专门开设“今日播法”大型法制直播带货栏目

    据报道,今日下午天猫618首场法制直播由无锡市梁溪区人民法院以淘宝直播案件执行的形式开展。此次案件执行完成后,该法院将一个查封后的被抵押厂房放上阿里拍卖,并直接参与天猫618活动。据了解,本次天猫618共有2282家法院参与,淘宝直播将专门开设“今日播法”大型法制直播带货栏目,不定期直播法院的案件执行。

  • 大牛Jim Keller离职 Intel CPU架构将由印度裔高管Raja主导

    今天早上,加入Intel公司不过2年多时间的Jim Keller突然宣布离职,理由是多陪陪家人,辞职将立即生效。在这个CPU大牛离职之后,Intel的团队实际上有一次大规模人员变动,目前主导Intel GPU业务的

  • 苹果Mac弃用英特尔芯片,将引入自研ARM架构芯片

    苹果2020年开发者大会(WWDC)在北京时间凌晨1点正式召开,在本次发布会上苹果公布了一项轰动的消息,即苹果未来将会引入自研的ARM架构芯片,逐步取代现在使用的英特尔芯片,苹果Mac弃用英特尔芯片无疑是对后者巨大的打击。

  • 苹果Mac弃用英特尔芯片 全面引入自研ARM架构芯片

    在苹果开发者大会上,除了发布iOS14 之外,还有一个重磅的点就是苹果电脑要更换处理器了。在发布会上,苹果表示,未来的Mac电脑将不再使用英特尔芯片,而是全面引入自研的ARM架构芯片。

  • 享学课堂Java进阶架构班三期6月开营

    疫情过后,网课的热度依旧没有褪去。虽然刚刚过完“金三银四”程序员面试跳槽的旺季,但是还是有很多程序员继续选择学习深造,提高技术水平,为下一个面试跳槽周期“金九银十”做准备。据享学课堂官方提供的数据,在 2020 年第一季度Java类目下新增VIP学员超过 1000 人,Java课堂VIP总人数已经超过 6000 人。为提高教学服务,保证每位学员得到高质量的学习效果,本月开始享学课堂Java进阶架构班三期正式开营。享学课堂Java进阶架构

  • 滴滴网约车架构调整,付强:提供有口皆碑的服务

    6月18日,滴滴网约车平台公司发布组织和人事任命内部公告,将司机服务部中的司机组织化等团队,转移到大区管理中心。

  • exands连续被海底捞点赞,基础架构为餐企降本增效

    有人说海底捞的成功来自于独特的企业文化,感动员工,让员工去感动客人。其实海底捞跟供应商之间的关系也是一样的,以诚意相互成就,一起成长。今年 5 月,exands(兴容信息)被海底捞评选为 2019 年度优秀合作伙伴。exands是海底捞国内所有门店的信息化基础架构运营商,已连续两年荣获该奖。年初,餐饮行业经历了全面洗牌,一些中小商家因歇业、现金困境而被迫关门倒闭,大型连锁企业通过各种方式来减少支出,思考转型升级,借助?

  • Pensando在云基础架构霸权之战中挑战亚马逊

    统一网络组件,以便可以整体使用它们是思科系统公司通过恰当地命名为统一计算系统(通常称为UCS)解决的难题。现在,随着软件使用量的不断发展变化,随处可用,随时可用的模型,挑战在于如何使网络变得灵活。随着Pensando Systems Inc.在隐身模式下于2019年底推出,思科著名的MPLS帮派及其USC团队正着手为网络基础架构创造新的选择,并挑战Amazon Inc.的Annapurna Labs创新王冠。“让我们建造更大,更美的东西,即使我们

  • 苹果自研cpu是什么时候开始的 Mac自研CPU架构、性能详细介绍

    此前苹果分析师郭明錤表示,在 2020 年第四季度或 2021 年第一季度,苹果将推出自家定制处理器的Mac机型。日前据彭博社报道,苹果将会在本月举行的 WWDC20 上宣布 Mac 产品线从英特尔 CPU 过渡到自研 CPU 的计划,基于 ARM 架构。

  • 京东上线电商行业首个大型免费版权素材库

    DoNews 6月9日消息(记者 刘文轩)京东官方微信公众号“京东黑板报”发布消息称,京东近日上线了“京东版权素材中心”,面向全量商家和京东平台达人用户免费开放,为数十万商家、达人一年节省至少上亿元的版权素材成本,也规避了商家的侵权风险。京东表示,这是全国电商行业首个大型免费版权素材平台。刚上线的素材中心包含上亿张版权图片素材,提供设计素材、人物肖像、矢量icon等种类,同时引入多样化的主流字体。除此之外,京东

  • 拼多多宣布组织架构升级:CTO陈磊出任公司首席执行官

    拼多多创始人、董事长黄峥发布公司全员信,宣布公司原CTO陈磊将出任首席执行官。黄峥则继续担任董事长。黄峥表示,这几年里,拼多多经历了飞速的发展。“团队的快速扩张,业务的高速增长和外部环境的剧烈变化,都在催促我们进一步迭代升级我们的管理团队和公司治理结构。”此次调整后,黄峥将花更多时间和董事会制定公司中长期战略,研究完善包括合伙人机制在内的公司治理结构,努力从制度层面推进拼多多

  • 青藤云安全与腾讯安全再次携手合作,助力用户完成年度大型攻防实战

    继联合发布主机安全产品之后,腾讯安全和青藤云安全近期合作再次升级。此次合作,将以腾讯安全提供的年度大型攻防实战方案为基础,以青藤全方位客户服务为支撑,助力行业客户更好地完成大型攻防实战演练当前,随着云计算、大数据等新技术的广泛应用,越来越多的企业实现数字化转型。与此同时,网络安全边界更加模糊,传统基于网络或设备边界的安全防御技术难以应对新技术所带来的各类挑战。很多组织机构为了实现纵深防御,购买了越

  • 拼多多组织架构升级:CTO陈磊出任CEO,黄峥继续担任董事长

    DoNews 7月1日消息(记者 程梦玲)拼多多公司创始人、董事长黄峥通过致全员信的方式宣布,经董事会批准公司原CTO陈磊将出任首席执行官。黄峥则继续担任董事长。此次调整后,黄峥将花更多时间和董事会制定公司中长期战略,研究完善包括合伙人机制在内的公司治理结构。为此,黄峥将划出个人名下拼多多上市公司的7.74%股份给到拼多多合伙人集体。其中一部分可以在不影响拼多多现有股东利益的情况下,进行一些长期基础研究和社会公益等

  • Intel 11代酷睿8核心首曝:CPU架构疑似Sunny Cove

    Intel即将发布代号Tiger Lake的第11代低功耗移动版酷睿处理器,全新的10nm+增强工艺、Willow Cove CPU架构、Xe GPU架构,而在桌面上的第11代将是Rocket Lake-S,仍旧是14nm工艺,但也会有新的CP

  • 滴滴网约车架构调整付强:业务已恢复到去年同期水平

    【TechWeb】6月18日消息,今日滴滴网约车平台公司发布组织和人事任命内部公告,将司机服务部中的司机组织化等团队,转移到大区管理中心。更加闭环的建设司机线下管理相关中台能力,增进与滴滴司机面对面的管理、赋能和服务,持续建设网约车司机生态。滴滴网约车平台公司CEO付强发布内部信表示,“要做好司机服务,仅靠线上化的能力和规则是不够的,必须有一支有同理心,善于沟通,执行力强的线下司机服务经理团队。”去年滴滴成立

  • 滴滴出行:升级出租车事业部组织架构任命石东海为总经理

    滴滴出行今日公布出租车事业部组织架构升级及人事调整。任命石东海担任出租车事业部总经理,向CEO程维汇报,同时兼任普惠产品技术负责人,向CTO张博汇报。据悉,石东海于2015年加入快的打车,任出租车技术负责人,滴滴与快的合并后,历任代驾、品质出行事业群及普惠出行事业群等产品技术负责人。调整后,滴滴出租车事业部助理总经理兼运营部负责人殷凯、技术部负责人袁哲明、产品部负责人隋信杰?

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议