首页 > 经验 > 关键词 > 数据库最新资讯 > 正文

大型网站架构演变和知识体系

2010-03-10 09:19 · 稿源:BlueDavy之技术Blog

在这篇文章中 将阐述一个普通的网站发展成大型网站过程中的一种较为典型的架构演变历程和所需掌握的知识体系,希望能给想从事互联网行业的同学一点初步的概念,:),文中的不对之处也请各位多给点建议,让本文真正起到抛砖引玉的效果。

<!--[if !supportLineBreakNewLine]-->
<!--[endif]-->

架构演变第一步:物理分离webserver和数据库

最开始,由于某些想法,于是在互联网上搭建了一个网站,这个时候甚至有可能主机都是租借的,但由于这篇文章我们只关注架构的演变历程,因此就假设这个时候 已经是托管了一台主机,并且有一定的带宽了,这个时候由于网站具备了一定的特色,吸引了部分人访问,逐渐你发现系统的压力越来越高,响应速度越来越慢,而这个时候比较明显的是数据库和应用互相影响,应用出问题了,数据库也很容易出现问题,而数据库出问题的时候,应用也容易出问题,于是进入了第一步演变阶段:将应用和数据库从物理上分离,变成了两台机器,这个时候技术上没有什么新的要求,但你发现确实起到效果了,系统又恢复到以前的响应速度了,并且支撑住了更高的流量,并且不会因为数据库和应用形成互相的影响。

看看这一步完成后系统的图示:

<!--[if !vml]-->


<!--[endif]-->

这一步涉及到了这些知识体系:

这一步架构演变对技术上的知识体系基本没有要求。

<!--[if !supportLineBreakNewLine]-->
<!--[endif]-->

架构演变第二步:增加页面缓存

好景不长,随着访问的人越来越多,你发现响应速度又开始变慢了,查找原因,发现是访问数据库的操作太多,导致数据连接竞争激烈,所以响应变慢,但数据库连 接又不能开太多,否则数据库机器压力会很高,因此考虑采用缓存机制来减少数据库连接资源的竞争和对数据库读的压力,这个时候首先也许会选择采用squid 等类似的机制来将系统中相对静态的页面(例如一两天才会有更新的页面)进行缓存(当然,也可以采用将页面静态化的方案),这样程序上可以不做修改,就能够 很好的减少对webserver的压力以及减少数据库连接资源的竞争,OK,于是开始采用squid来做相对静态的页面的缓存。

看看这一步完成后系统的图示:

<!--[if !vml]-->


<!--[endif]-->

这一步涉及到了这些知识体系:

前端页面缓存技术,例如squid,如想用好的话还得深入掌握下squid的实现方式以及缓存的失效算法等。

架构演变第三步:增加页面片段缓存

增加了squid做缓存后,整体系统的速度确实是提升了,webserver的压力也开始下降了,但随着访问量的增加,发现系统又开始变的有些慢了,在尝 到了squid之类的动态缓存带来的好处后,开始想能不能让现在那些动态页面里相对静态的部分也缓存起来呢,因此考虑采用类似ESI之类的页面片段缓存策略,OK,于是开始采用ESI来做动态页面中相对静态的片段部分的缓存。

看看这一步完成后系统的图示:

<!--[if !vml]-->


<!--[endif]-->

这一步涉及到了这些知识体系:

页面片段缓存技术,例如ESI等,想用好的话同样需要掌握ESI的实现方式等;

  • 相关推荐
  • 大家在看
  • 华为开源数据库能力 开放openGauss数据库源代码

    今日,华为正式宣布开源数据库能力,开放openGauss数据库源代码,并成立openGauss开源社区,社区官网(opengauss.org)同步上线。

  • 关于数据库的高可用高可靠,华为RDS有话说

    不知从何时起,“6·18”成为了“购物节”,这种全民狂欢式购物对电商行业是一个巨大挑战。 618 大促毫秒必争,短时间的高并发会给数据库带来巨大压力。面对暴涨的业务、暴增的订单,企业该如何确保数据库稳定性和可靠性呢?不要担心,华为云数据库的这份应对策略,时刻为您保驾护航。对于数据库来说,可用性和可靠性是永恒的话题。数据库管理员会按照业务的不同要求选择不同的策略保证系统正常运作,其中包含数据库本身内核提供的?

  • 蚂蚁集团自研数据库业务OceanBase独立 胡晓明任董事长

    今日,蚂蚁集团宣布将原有自研数据库产品OceanBase独立,成立由蚂蚁100%控股的数据库公司北京奥星贝斯科技,蚂蚁集团CEO胡晓明亲自担任董事长。

  • “投资数据库”百家号有什么作用?企业品牌必须知道的推广渠道

    备注:本文数据来自站长之家移动传媒平台,文章涉及的数据依托平台大数据计算所得,非百度官方数据,仅供参考。投资数据库是当前百家号中的普通号,目前账号百家号权重为2,综合排名位列779805名,财经分类排名位列18487名,领先了30.2%的百家号。 投资数据库百家号概况 投资数据库的简介为致力于最专业的投资数据服务,是一家主旨明确、领域专注的自媒体作者,截止目前为止他们已经在百家号上发布了超过23篇的游戏内容,最近该作?

  • 黑客勒索2.3万个MongoDB数据库 要求支付比特币赎金

    黑客已经在 22900 个MongoDB数据库上上传了勒索赎金记录,这些数据库在没有密码的情况下在线暴露,这个数字大约占所有MongoDB在线访问数据库的47%。

  • 数据库业务OceanBase升格为独立公司 蚂蚁集团CEO胡晓明任董事长

    【TechWeb】6月8日消息,蚂蚁集团今天 对外宣布,将自研数据库产品OceanBase独立进行公司化运作,成立由蚂蚁100%控股的数据库公司北京奥星贝斯科技,并由蚂蚁集团CEO胡晓明亲自担任董事长。据了解,新公司将在今年内发布重大版本升级,并计划在未来三年内服务全球超过万家企业客户。对OceanBase独立公司化运作一事,蚂蚁集团表示,“科技是蚂蚁集团的基因,也是蚂蚁集团重要战略方向。经过十年的发展,OceanBase支撑了支付宝、网?

  • 京东上线电商行业首个大型免费版权素材库

    DoNews 6月9日消息(记者 刘文轩)京东官方微信公众号“京东黑板报”发布消息称,京东近日上线了“京东版权素材中心”,面向全量商家和京东平台达人用户免费开放,为数十万商家、达人一年节省至少上亿元的版权素材成本,也规避了商家的侵权风险。京东表示,这是全国电商行业首个大型免费版权素材平台。刚上线的素材中心包含上亿张版权图片素材,提供设计素材、人物肖像、矢量icon等种类,同时引入多样化的主流字体。除此之外,京东

  • 阿里云发布六大新品:第七代ECS、PolarDB-X数据库等重磅登场

    【TechWeb】6月9日消息,在2020阿里云峰会上,阿里云宣布推出第七代ECS、POLARDB-X数据库、视觉智能开放平台等重磅新品。此外,阿里云还发布了新一代数据中台、混合云管理平台、云原生数据仓库等产品及解决方案,目前这些产品均已在阿里云官网上线。第七代ECS高主频实例基于阿里云自研的神龙服务器架构,第七代阿里云ECS的算力比上一代提升了160%,最大支持192个vCPU,吞吐能力提升了一倍,并在存储转发能力、延时、稳定性上有了?

  • 京东上线业内首个大型免费版权素材库:含上亿张图片和主流字体

    数据显示,电商平台线上图片的日增量超过一亿张。一个普通商家一年至少使用几百张图片和数十款字体,每年需承担的成本至少上千元。除了经济成本,商家在使用素材时还需注意法律风险。为了让平

  • 好看视频缓存在哪个文件夹

    好看视频中,如果你看了很多视频的话,其实都会产生缓存的,如果长期的不清理缓存的话,会占用你手机越来越多的存储空间,所以很多人想知道好看视频的缓存文件在哪,下面就来为大家详细的介绍一下。

  • Intel 10nm全线引入新指令集:缓存效率大涨

    Intel今天公布了指令集扩展参考指南的第39个版本,透露未来的10nm家族将全线引入一个名为“CLDEMOTE”的新指令集,重点提升缓存效率与性能。新指令集的全称为“Cache Line Dem

  • Serverless架构的前世今生

    一、Serverless简介云计算的不断发展,涌现出很多改变传统IT架构和运维方式的新技术,而以虚拟机、容器、微服务为代表的技术更是在各个层面不断提升云服务的技术能力,它们将应用和环境中很多通用能力变成了一种服务。但无论这些技术应用在哪里,帮助企业“降本增效”是技术变革永恒的主题。Serverless架构的出现,带来了跨越式的变革。Serverless下主机管理、操作系统管理、基础软件的部署运维、资源分配和扩缩容能力全部由云厂?

  • 飞猪组织架构调整,庄卓然任飞猪总裁

    近日阿里旗下的飞猪平台进行组织架构调整,本次调整就包括原飞猪总裁赵颖将不再担任该职务,接任者为阿里巴巴集团副总裁、阿里文娱CTO兼优酷COO庄卓然。

  • 飞猪回应组织架构调整:系集团内正常轮岗

    飞猪近日进行了一轮组织架构调整,其中阿里巴巴集团资深副总裁、蚂蚁金服国际事业群总裁赵颖(芷雪)不再兼任飞猪总裁,未来将专注于蚂蚁金服国际业务;阿里巴巴集团副总裁、阿里文娱CTO兼优酷COO庄卓然(南天)接任飞猪总裁。对于该组织架构调整,飞猪方面回应称,系集团内部正常轮岗。

  • 飞猪回应“组织架构调整”:集团内部正常轮岗

    今日,针对“组织架构调整”的报道,飞猪回应称,系集团内部正常轮岗。此前,有媒体报道称,飞猪已进行一轮组织架构调整,其中包括飞猪总裁由阿里巴巴集团副总裁、阿里文娱CTO兼优酷COO庄卓然(花名:南天)接任;阿里巴巴集团资深副总裁、蚂蚁金服国际事业群总裁赵颖(花名:芷雪)不再兼任飞猪总裁,未来将专注于蚂蚁金服国际业务。

  • 淘宝直播将专门开设“今日播法”大型法制直播带货栏目

    据报道,今日下午天猫618首场法制直播由无锡市梁溪区人民法院以淘宝直播案件执行的形式开展。此次案件执行完成后,该法院将一个查封后的被抵押厂房放上阿里拍卖,并直接参与天猫618活动。据了解,本次天猫618共有2282家法院参与,淘宝直播将专门开设“今日播法”大型法制直播带货栏目,不定期直播法院的案件执行。

  • 腾讯会议崩了 页面显示“发生异常,请重新加入”

    今日晚间,有大量网友在微博反映称,腾讯会议出现了宕机的情况,页面显示“发生异常,请重新加入”,会议画面一片黑暗。针对此事腾讯方面暂未回应。

  • 大牛Jim Keller离职 Intel CPU架构将由印度裔高管Raja主导

    今天早上,加入Intel公司不过2年多时间的Jim Keller突然宣布离职,理由是多陪陪家人,辞职将立即生效。在这个CPU大牛离职之后,Intel的团队实际上有一次大规模人员变动,目前主导Intel GPU业务的

  • 苹果Mac弃用英特尔芯片,将引入自研ARM架构芯片

    苹果2020年开发者大会(WWDC)在北京时间凌晨1点正式召开,在本次发布会上苹果公布了一项轰动的消息,即苹果未来将会引入自研的ARM架构芯片,逐步取代现在使用的英特尔芯片,苹果Mac弃用英特尔芯片无疑是对后者巨大的打击。

  • 苹果Mac弃用英特尔芯片 全面引入自研ARM架构芯片

    在苹果开发者大会上,除了发布iOS14 之外,还有一个重磅的点就是苹果电脑要更换处理器了。在发布会上,苹果表示,未来的Mac电脑将不再使用英特尔芯片,而是全面引入自研的ARM架构芯片。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议