首页 > 语言 > 关键词  > MySQL最新资讯  > 正文

MySQL百万级高并发网站实战攻略

2009-03-27 16:18 · 稿源:IT168

在一开始接触PHP接触MYSQL的时候就听不少人说:“MySQL就跑跑一天几十万IP的小站还可以,要是几百万IP就不行了”,原话不记得了,大体就是这个意思。一直也没有好的机会去验证这个说法,一是从没有接手过这么大流量的网站,二是平时工作也比较忙,懒得去管这些,反正现在用不着,抱着这个想法把这个问题一直留到了最近,才把这个问题搞明白。

就在前几天公司旗下一网站(由于这是公司的商业内容我就不说是那个网站了)以下简称A站,这A站在年后流量猛增从一天的七八十万猛跑到了好几百万的IP,一天下来接近一千万的PV让整个服务器在高压下超负荷的工作着,时不时的服务就出现宕机。

最首先反映出情况的是数据统计,一天下来一个数据也没有统计上,原来是MySQL停止工作了。

本文就围绕这个问题来讲讲我们公司几个技术人员的解决方案。

1. MySQL服务器集群

由于是小公司在资金和成本上都有所限制,而且在技术上也没有几个技术员接触过,所以这个方法自然就让大伙否决了。

这里说说我个人的理解!做集群不但添加资费的开销,而且在技术上也有很大的挑战,对于我们公司目前的情况是不大现实的。集群无非就是把一台服务器的压力转接到两台或是多台服务器上,我是这么理解的,也许我理解有误,还请大家指教。

2. 分而治之

这个方法和集群差不多,不过是把统计的代码放在不同的服务器上跑,由于公司有不少配置低的服务器跑几万到几十万IP还是没有问题的,我们可以把几百万流量分成十来个几十万的量分而统计。

优点:充分的利用了现在的资源,解决了目前的问题。

缺点:这样的方法不是长久之计,迟早还是会出问题的。而且在统计数据的时候比较麻烦。

3. 统计代码的修改

由于之前采用的是在插入数据之前加以判断,这个IP是否存在,来路等的处理,无形中增加了服务器的压力,所以大伙把统计代码改成来一个就插入数据库,不管三七二十一等以后在处理。

这个方法基本上把当天的数据保留下来了,可是在处理的时候由于数据量的庞大,来来回回还是把服务器跑死了,而且在插入的时候由于当时设计数据结构的时候留有的索引,也大大的消耗了不少的服务器资源。

那么把索引去掉到最后处理的时候又是老慢的,得不偿失。

4. 统计方式的修改

最后这一个方法,效果非常的明显。那是什么方法呢!

这里就主要介绍这个方法:

A、 保留原用的数据结构不变,并把所有的数据按一定的结构存入文件

结构:可以是xml,json,也可以是你自己想的任何有规律的数据排放。

例如:

1 221.2.70.52,https://www.baidu.com,windowxp\r\n
2 221.2.70.52,https://www.baidu.com,windowxp\r\n

写入文件:fopen,fwrite??no 这里介绍一个非常好用的技巧,也许大家都知道,但是像我这样的菜鸟大概都不知道,那就是用error_log,这不是写错误日志的吗?对就是他,非常方便。

格式:

1 error_log("内容", 3, "/date.dat");


这里我就不说他的具体用了,不明白的朋友可以查一下手册。

B、数据文件的命名

为什么这里要讲文件的命名呢?如果就一味的把数据的写入文件不作任何的处理那么他和直接插入数据库有多大的区别呢?那么我们所作的一切都是无用功了。

首先是在时间的利用上:date(‘YmdH’)得到的值是如:2008121112这有什么好入,这样一来这个数据就是一个小时一个文件必免了文件过大,而且不用去判断自动生成。

IP的应用:由于在很多数据上都是一个IP操作的,所以把相同IP的数据放在一个文件里在后面的处理就非常方便处理。请看后面的介绍,这里我们取IP成三位为文件名字的一部分。

C、数据的导入处理

通过以上两位的操作当天的数据会一个不少的保留下来,接下来怎么处理其实并不是很重要了。但是这里还是讲讲我的想法。

入库前处理:

前面讲到把IP三位相同的放一个文件就是为了入库前到它们进行处理,首先可以用最笨的方法把数据拆成N个数据。在进行重复数据的删除。

如果一个IP浏览多页那么PV在这里就可以得到统计,并把访问的页面进行处理,组成新的数据。

导入方法:

这里要介绍一下数据的导入方法

1 $sql="LOAD DATA INFILE '".$file."' INTO TABLE `test` FIELDS TERMINATED BY ', ' LINES TERMINATED BY '\r\n'(2 3 `time` , `md5`4 5 )";

就这一个语句,在导入几十万数据的时候可以说是十分快速的,用法我这里也不过多介绍了,大家有不明白的可以查手册,所以说解决数据库的瓶颈的办法不定要加设备,也不一定要换数据库,只要换一个思路就能解决不少问题。

举报

  • 相关推荐
  • 最新AI资讯去哪看?国内优质AI资讯网站推荐大全

    本文介绍了国内值得关注的优质AI资讯平台,帮助读者高效获取前沿AI动态。随着AI技术快速发展,专业资讯平台比社交媒体更能提供系统性、专业化的内容。重点推荐四个平台:1)AI科技大本营,覆盖广泛AI领域,更新快且技术深度兼具;2)机器之心,专注学术论文解析和产品评测;3)新智元,聚焦产业应用和前沿研究;4)AIbase,每日整理国内外重大AI事件。特别推荐AIbase的&

  • 最新AI资讯哪里看?盘点国内优质AI资讯网站和获取渠道

    本文介绍了获取最新AI资讯的重要性及有效方法。在AI技术快速发展的背景下,及时获取准确信息对从业者至关重要。文章推荐了36氪、钛媒体、虎嗅等国内优质AI资讯平台,以及清华北大等高校研究机构的官方渠道。建议构建多元化信息获取体系,包括订阅专业日报、关注社交媒体热点、使用聚合平台等。同时强调信息筛选验证的重要性,提倡建立个人知识管理系统。未来AI资�

  • 国内MCP资源平台有哪些?MCP工具网站推荐

    在人工智能技术飞速发展的今天,Model Context Protocol(MCP,模型上下文协议)作为一种创新的开放标准协议,正在为AI模型与外部工具和服务的交互带来前所未有的便利。今天,我们有幸深入报道一个专注于MCP服务器和相关服务的集合平台——AIbase(https://mcp.aibase.cn/)。这个平台不仅为全球的AI开发者提供了一个强大的资源库,还通过一站式整合、安全实践和开发效率工具,极大地

  • AI新闻聚合网站推荐:2025年最值得关注的AI资讯平台

    本文介绍了AI新闻聚合网站的重要性及其核心价值,分析了当前市场上优质平台的分类与特点,并提供了选择建议。AI新闻聚合网站通过算法筛选和人工编辑,为用户提供高质量、时效性强的AI资讯内容。文章推荐了综合性平台(AIbase)、技术导向平台(AI Research Daily)和行业应用平台(AI in Business)三类代表性网站,建议用户根据需求选择。同时强调了构建多元化信息获取体系的重要性�

  • 国内MCP服务器搜索引擎有哪些?MCP服务网站推荐

    在人工智能技术飞速发展的今天,AI模型与外部工具和服务的交互能力正逐渐成为推动技术进步的关键因素。今天,我们聚焦于一个新兴的、极具潜力的平台——AIbase(https://mcp.aibase.cn/),它为全球的AI开发者和研究人员提供了一个前所未有的MCP(Model Context Protocol,模型上下文协议)服务器集合平台,助力AI技术的进一步发展。 MCP协议是一种开放标准协议,旨在允许AI模型与外部

  • 国内有哪些AI资讯网站?可灵AI上线可图2.1等热点新闻哪里看最及时?

    本文介绍了国内主要AI资讯平台,帮助用户获取及时全面的AI信息。重点推荐了机器之心、AI科技评论、新智元等综合性平台,以及CSDN、InfoQ等技术导向网站,特别强调AIbase.cn的时效性优势,该平台能第一时间发布如可灵AI可图2.1模型免费开放等重要动态。文章指出,选择资讯平台需结合时效性与内容深度,建议用户根据自身需求建立信息筛选体系,通过订阅日报、设置关键词提醒等方式构建个人AI资讯生态系统,其中AIbase.cn因其更新快、覆盖全的特点值得重点关注。

  • 人工智能行业每日资讯汇总:国内值得关注的AI资讯网站推荐

    本文介绍了在AI技术快速发展的当下,如何高效获取行业资讯的方法。推荐了国内5个优质AI资讯平台:量子位(专注国内AI企业动态)、机器之心(学术与产业并重)、AI科技评论(深度行业分析)、AIbase(综合信息聚合)和新智元(聚焦AI产业化)。文章建议通过关注公众号、使用RSS工具、创建浏览器书签等方式提升信息获取效率,强调持续关注权威资讯源能保持知识更新、提

  • 国内详细MCP教程网站有哪些?MCP服务资源平台去哪找?

    在当今快速发展的AI技术浪潮中,Model Context Protocol(MCP,模型上下文协议)作为一种新兴的开放标准协议,正逐渐成为AI领域的重要组成部分。 今天,我们有幸介绍一个专注于MCP服务器和相关服务的集合平台——AIbase。 AIbase平台为全球的AI开发者和爱好者提供了一个全面的MCP服务器资源库。据最新统计,该平台已经收录了超过 121231个 MCP服务器,涵盖了从热门推荐到最近更新�

  • 570亿元!全球最大成人网站要被贱卖了

    全球最大的成人网站OnlyFans要被出售了(迄今为止OnlyFans已经积累了3亿用户),价格是570亿元。 据国外媒体报道称,一位叫做里奥拉德文斯基(Leo Radvinsky)的亿万富翁,正在联系潜在的银行和投资方,打算把自己名下的一家视频网站给卖掉,而它就是OnlyFans。 对于这次的出售,国外投研机构认为,OnlyFans这是被贱卖,而这背后的原因,当然是合规问题。

  • MCP协议资源服务去哪找?国内MCP server资源网站推荐

    ​在人工智能技术飞速发展的今天,AI模型与外部工具和服务的交互需求日益增长。为了满足这一需求,一个名为 AIbase 的全球MCP服务器集合平台(https://mcp.aibase.cn/)应运而生,为开发者和企业提供了前所未有的便利和强大的功能支持。