11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
在做SEO的过程中,我们总是会遇到各种莫名其妙的问题,比如:某一天你的网站突然出现收录缓慢的问题,而平时都是秒收录。
我们做SEO优化要经常分析网站日志,网站日志的分析和诊断就像给网站看病一样,我们通过网站日志的分析,可以更加清楚的知道网站的健康状况,可以利于这些数据让我们更好的做网站SEO优化,今天海瑶SEO发包技术小编和大家分享下网站日志分析和诊断,如果有什么不对的地方,可留言提问大家一起探讨交流!
在Seo优化过程中,网站收录问题是很多Seoer极为关注的一个问题。不仅要有收录,收录的网页还必须是重要页面,这里的重要页面指的是——未来能给你带来相关流量的页面。这就要求Seoer需要具备一定的网站日志分析能力。
作为一名seoer,对网站日志分析是必需要掌握的一项基本的技能,通过日志分析可以分析爬虫抓取页面有效性,通过日志分析蜘蛛返回的状态码能及时发现网站里面是否存在错误或者蜘蛛无法爬取的页面,排查网站页面中存在的404错误页面,500服务器错误等这些噪音内容上噪音页面上(重复页面,低质量页面,空内容页面,404页面,不排名页面等)
W3Perl 是一个Web日志的分析工具,支持 FTP、Squid、邮件日志等,提供一个图形化的界面,以及文本统计数据,提供一个管理界面。
站长们每天必做的一件事就是查看网站日志。一些站长可能会质疑是否有必要每天去查看网站日志,甚至认为只要每天发布高质量内容、建设高质量外链就行了。事实上,作为一名优秀的站长,查看网站日志是必要的。
在笔者看来,网站日志所呈现的每一条记录与其说是痕迹,不如说是镜像来的贴切。
当然很多时候你还会发现很多你看不懂的IP,大多时候都是你在用一些网站监测工具的时候,它们模拟百度蜘蛛产生的IP,如站长之家,爱站网等。这些的冒牌货用NSLOOKUP命令一查便知,完全没必要太过于在意。
自从自己从事SEO网站优化以来,自己慢慢的去关注网站日志。网站日志分析成为自己每天工作的第一件事情,每天一到公司第一时间就是对昨天的网站日志进行分析。也许部分站长们还不会分析网站日志,也有少部分觉得分析网站日志就是在浪费时间,天天看着那些数据有什么作用。这里小编觉得至少有四点我们可以了解到。
作为一个站长,略懂网站日志分析,网站会更安全。网站日志可以从ftp或服务器上面下载。下载后,我们可以通过相应的来源ip段进行分析,判别这ip段是否属于真实的蜘蛛。
作为SEOer,我们使用的各种各样的工具,以收集各式各样的技术问题,网站分析,抓取诊断,百度站长工具等。所有这些工具是有用的,但都无法比拟在网站日志数据分析搜索引擎蜘蛛抓取,就像Googlebot到爬取您的网站并您的网站上留下了一个真实的记录。这是网络服务器日志。
一个网站要发展的更快,走的更远,它离不开日常的一个数据分析,就如携程旅行网页搜索营销部孙波在《首届百度站长交流会》上所言,其利用数据模型对频道改版后,网页索引量从原来的十几万,上升到今年的500多万的索引量。由此可见,数据分析的重要性。
通过对网站日志的分析,我们可以很好的判断我们的网站的健康程度,并且还可以看到蜘蛛抓取的记录以及用户的一些行为记录,这样数据对于我们来讲无疑是 提升网站的一个关键,可以时刻的让我们看到网站的不足之处,从而进行改正。然而今天小编与大家分享的主要是蜘蛛抓取的行为,希望对各位站长有所帮助。
通过分析网站日志Log文件我们可以看到用户和搜索引擎蜘蛛访问网站的行为数据,这些数据能让我们分析出用户和蜘蛛对网站的偏好以及网站的健康情况。在网站日志分析中,我们主要需要分析的是蜘蛛行为。
在分析日志的时候需要用到的工具:光年日志分析工具、web log explorer、MSSQL。还有一点,做好数据的分析excel是必备的,最近在看阿莫推荐的一本书,写的挺好的《你早该这么玩excel》,推荐大家看看,基础的应用还是要会的。
从做SEO开始老大就一直给我灌输:“要做科学的SEO,不管流量是涨还是降都要知道其中来源,而要了解这些同时判断网站流量的走向就必须要靠日志分析,而不是凭感觉的猜测是哪些因素使用流量发生变化”。因此从一开始就从数据入手,对于网站的数据时实监控,从数据中判断网站的问题所在,然后做出相应的改变。这也是我们网站能一直稳定发展从流量的直线下降到回升直到大涨的一个原因所在。
许多优化人员忽略了网站日志的作用,而更多的优化人员只通过日志分析工具去查看,所查看的内容也不过是各搜索引擎蜘蛛的访问数量、停留时间、抓取页面数、抓取目录、返回代码等,真正愿意从代码中去看日志的,少之又少。
最近遇到一个网站被百度蜘蛛抓取首页后大量返回304状态码的问题,以前遇到过301和302,就是没了解过304,刚好可以对这个情况进行一下分析和观察,以便比较深入的了解该问题的出现以及应对之策。
记得去年笔者刚入门SEO时,在SeoWhy悬赏了一个关于网站IIS日志的问题,大概描述是:百度蜘蛛抓取网站,日志为什么会出现200 0 64代码?64表示什么?
在seo逐步普及的大浪潮下,许多所谓的seoer都将她简单归结为内容和外链,其实这个说法并没有错,内容和外链的确是做seo最为重要的两大手段,但这就好像某领导在某大会上发言:“我们要继往开来,我们要卓越进取!”,继往开来是对的,卓越进取是对的,但靠什么继往开来、卓越进取就不得而知了。
作为SEO新手一定要学会查看和分析网站日志,因为从观看这些网站日志代码当中,可以分析出一个网站大体的状况。
Godaddy主机果然伤透本人啊!遇到网通、铁通、移动啥的就打不开,今天总算弄到日志了,近七天的,用日志分析工具一看,结果跟我预期的很像,这样说也许不太准确,应该是超过我的预期。原以为服务器问题会导致部分问题从而影响排名,怎知道会引发这么多大问题。
在分析日志的过程中,往往会发现404状态下有一些或者很多的不完整的url或者比原url多出字段的莫名其妙的网站本身不存在的url的抓取。在群里面也见有人问过类似的情况,觉得这是一个大家普遍都会遇见的问题,有猜测过有可能是被别人采集才导致这样的问题出现,在上课的时候问过国平老大,当时国平老大说有可能是爬虫在抓取url的时候下载不完整,但是这都没有一个具体的数据来支撑,总是觉得很朦胧没把握。
对于很多做网站的新手来说,都没有经过系统地授课进行网络技术和建站知识学习,做网站都是靠自学,遇到难题在论坛发帖提问,更不会懂得网站优化,对于较基本操作——通过网站日志看蜘蛛来访情况都不知到哪里看,怎么看。前两天看到很多人发帖提问,回复者的答案却比较精炼,不具体,提问者还是云里雾里的,现我就以自己的网站来系统地操作一次,提交给大家参考,有说错的地方,请批评指正。
知道如何查看网站日志和了解网站日志的作用还是远远不够的,最重要的是你还要学会分析日志。
我们查看网站日志的时候会看到百度蜘蛛:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)来爬行我们的网页。大家现在都知道有些站长工具或者采集程序,冒充百度蜘蛛来爬行我们的网站,那么我们怎么判断爬行我们网站的是不是真正的百度蜘蛛呢。
很多站长在运营网站的时候,往往都本着内容为王,外链为皇的原则,很少通过数据分析来指导自己的网站运营,网站日志的分析更是被广泛的忽视。其实网站日志本身就是一个很好的工具,日志的数据往往就是易经的卦爻词,通过这些数据往往能够找到成功运营网站的密码。
各位站长朋友通常都会给自己的网站安装cnzz、百度统计等站长统计工具,可是,这些站长统计工具不会记录网络蜘蛛的爬取情况。一些站长朋友通常会用日志分析工具对网站日志分析蜘蛛爬取情况。
前几天,本人建了一个新站,本人对这个网站的期望值比较高,希望能做好,并能产生些收益,所以从网站的界面设计、功能设计、SEO优化等方面都比较用心。在优化网站的过程中,从一些SEO资料上知道了网站日志的知识,了解到网站日志有记录搜索引擎访问情况的功能,所以开始
对于seo来说,网站日志是观察一个网站发展的晴雨表,目前多数seoer用的是iis网站日志,也有人使用apache网站日志。而我就是使用后者。就二者比较而言,我个人认为apache不及iis好看懂。