首页 > 经验 > 关键词 > 网站日志最新资讯 > 正文

教你查看日志中蜘蛛的访问行为

2012-09-12 13:58 · 稿源:cdfei.com

网站日志,是服务器端自动生成的一个文本记录,详细记载了网站的访问详情,做为站长的你,如果是需要查看访问统计数据,那用51.la或者百度统计 工具就可以了,但是如果你想查看各搜索引擎的蜘蛛是否准时来爬行自己的网站,那就要学会自己查看网站日志文件了。结合我们自己的网站做为一个实例来做一个介绍:

首先利用FTP工具登录服务器端,一般在服务器根目录之下存在一个logs文件夹,这里面装的就是网站日志,当然不同的服务器类型,日志文件的文件夹名称和我介绍的不一样,但没关系,日志文件的扩展名是log。

进入日志文件夹,你会发现,日志文件是按每一天的访问情况为一个文件保存的:

好吧,我的服务器只保留最近三天的日志文件,真小气,我还用过一个国外的服务器,人家是按月记录,并且当月结束后会将当月的日志打包供下载,只要你不人为删除,该日志文件会永远存在,这才叫个性化,但是没办法,谁叫我们只能用国内的服务器。

OK,报怨了几句,随便下载一天的日志文件,用Windows文本工具打开该日志文件,会看到一堆酷似代码的字符,祝文件大小打开速度也不同:

注意看有背景的这一小部分,我用CTRL+F搜索功能查找baiduspider,好吧,为什么要查找baiduspider,这里先普及一下关于搜索引擎蜘蛛的一点小知识,各大搜索引擎的蜘蛛都有名字:

百度的叫baiduspider;

谷歌的叫Googlebot;

微软的叫bingbot;

搜狐的叫Sogou web spider;

腾讯的叫Sosospider;

因为国内主要是以百度为优化对象,我们来看看关于百度蜘蛛爬行记录的信息分析,在日志记录中随便找一个百度蜘蛛的信息:

125.90.88.96 - - [07/Sep/2012:19:16:21 +0800] "GET / HTTP/1.1" 200 5374 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

怎么解读这些信息呢?蜘蛛IP--【访问时间】“获取路径”HTTP反馈值200 反馈字节数5357 百度蜘蛛标记。

好吧,这里面获取路径与HTTP反馈值是非常重要的信息,200为正常读取,读取了5374个字节。我们再分析一条记录:

220.181.51.118 - - [07/Sep/2012:09:54:15 +0800] "GET /product/disp.php?id=93 HTTP/1.1" 301 249 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

认真看获取路径这一项,因为我的网站是老域名,原来的主人被收录的路径/product/disp.php?id=93,百度蜘蛛同样爬行,结果我的 新网站里肯定不会有这一条信息,由于HTTP反馈了301,而301代表已移动 — 请求的数据具有新的位置且更改是永久的。其实这对于我来说是一件好事,蜘蛛爬行不通,知道这条收录记录已经失效,慢慢就会从百度的收录数据库中删除。现在 百度正在审核我的新站点,一天爬行只有23次,也很不错了的。

好了,大家是不是可以举一反三的学会看其它搜索引擎蜘蛛的爬行记录了呢?下次,笔者将重点再分享一下HTTP的反馈值,大家通过这个反馈值可以获悉自己网站的健康状态哦,非常重要。

当然,有朋友会说为什么不利用一些日志查看工具,人工手动察看费时费力,是的,有些不错的工具可以提供更便捷的操作,今天笔者所述内容旨在用最初级的方法教会大家学会察看自己网站的日志。希望以上内容能对你有点帮助。

本篇文章地址:http://www.cdfei.com/experience/seo/seo-76.html,转载请注明链接谢谢。

  • 相关推荐
  • 大家在看
  • 最强蜗牛服务器无响应详细解决办法 三种办法解决服务器无响应

    最强蜗牛经常的会碰到服务器无响应的情况,那么遇到这样的情况怎么办呢?下面就来为大家分享一下最强蜗牛服务器无响应详细解决办法。

  • 百度:2030年服务器数量超500万台 达Top500超算总和7倍

    6月19日,百度宣布,未来十年将继续加大在人工智能、芯片、云计算、数据中心等新基建领域的投入。预计到2030年,百度智能云服务器台数超过500万台。500万台服务器是什么概念?接近2019年全球

  • 百度度小店是什么

    在抖音小店与快手小店之后,百度的度小店也来了。据了解,度小店平台成立于 2019 年 ,服务内容针对全面的电商解决方案,并提供建店、交易、结算、订单等全链路能力,充分满足客户所需,实现多维度营销及订单转化。那么度小店怎么样?以下是关于百度度小店的详细介绍。

  • 外媒:英伟达AMD服务器芯片销量正在增加

    【TechWeb】6月30日消息,据国外媒体报道,数据中心、云计算等领域的需求,也带动了服务器销量的增长,进而也拉升了服务器相关芯片销量的提升。外媒在最新的报道中就表示,英伟达、AMD这两大厂商服务器芯片的销量,正在增加,他们对未来也非常乐观。英伟达服务器相关芯片的业绩,在他们的财报中体现在数据中心这一业务上,这一业务2020财年的营收为29.83亿美元,在英伟达营收中所占的比重,由上一财年的25%提升到了27.4%。而在截?

  • 腾讯跟百度谈入股爱奇艺?百度:不予置评

    6月16日消息,外媒援引知情人士透露的消息称,腾讯已经与拥有56.2%爱奇艺股权的百度就购买爱奇艺股份进行接洽,计划成为爱奇艺的最大股东。对此消息,百度方面回应不予置评。最新财报显示,爱奇艺2020年第一季总营收达76亿元人民币(约合11亿美元),同比增长9%,但运营亏损仍然达到22亿元人民币(约合3.166亿美元)。根据易观千帆的数据显示,2019年9月国内综合视频app排行,日均使用时长上,爱奇艺和腾讯视频分居第一?

  • 百度为什么那么喜欢「卖」公司?

    自 6 月 16 日,路透社报道称腾讯欲取代百度控股爱奇艺后,微博话题#腾讯计划入股爱奇艺#阅读量高达6602. 6 万,讨论达1. 4 万,爱奇艺股价涨幅更是达到40%。如果交易达成,长视频格局将从此变天。

  • 电商,百度的新战役

    百度正在不遗余力的加码移动生态的服务能力。在今年 5 月份的万象大会上,百度集团执行副总裁沈抖明确表示:“服务是移动生态的新方向。”在沈抖说完这句话后的一个多月的时间里,百度完成了对电商平台有赞以及消费品排行榜盖得排行的投资。

  • 百度推出“高考放心搜计划” 为高三考生提供智能搜索服务

    今日,百度宣布推出“高考放心搜计划”,为高三考生及家长提供权威、便捷、丰富的信息和智能搜索服务:包括上千场高考直播、高考搜索大数据、闪电估分以及智能志愿助手等。

  • 度小店赚钱吗?百度度小店挣钱吗

    现在还是做网店创业赚钱的时候吗?遍地都是卖家,怎么才能从中脱颖而出?现在开店平台多了一个新的选择,百度度小店是为所有有开店诉求,具备企业或个体工商户资质的企业、机构、个人提供的直营电商行业解决方案,提供建店、交易、结算、订单等全链路能力,帮助电商客户实现多维度营销及订单转化。那么百度度小店挣钱吗?

  • 周杰伦新单曲《Mojito》导致QQ音乐服务器崩溃

    DoNews 6月12日消息(记者 刘文轩)今天凌晨,周杰伦最新单曲《Mojito》在QQ音乐、酷狗音乐、酷我音乐上线。上线后不久,QQ音乐服务器似乎开始出现崩溃的情况,有用户在QQ音乐官方微博下留言反馈了这一情况。从用户发布的截图可以看出,用户在付费购买这张单曲的时候,会被提示“购买过程中由于网络异常导致失败,系统未扣费,请尝试重新购买”。这并不是周杰伦第一次把QQ音乐搞到崩溃,早在去年9月,周杰伦的单曲《说好不哭》上线

  • ​百度回应向腾讯出售爱奇艺股权:爱奇艺是百度重要组成部分

    今日,针对“百度拟向腾讯出售爱奇艺股权”的报道,百度公关总监郭锋回应称,大家别乱猜了。爱奇艺是百度内容生态战略的重要组成部分,百度会一如既往地支持爱奇艺的发展。

  • 百度李震宇:百度无人车业务不会拆分 没有对外融资计划

    在今日下午的Apollo媒体沟通会上,百度集团副总裁、智能驾驶事业群组总经理李震宇表示,百度无人车不会分拆,现在也没有对外融资的计划。

  • 妙健康携手百度智慧医疗,打造AI家庭医生服务新模式

    2020年6月29日,妙健康与百度正式达成战略合作协议,双方将探索医疗健康服务与人工智能、物联网、大数据等先进信息技术的结合,围绕慢病管理领域开展深入合作,共同打造基于小度在家智能音箱的智能家庭医生解决方案,为广大慢病患者提供健康管理、智能导诊、用药提醒等多维度的服务和产品。 据介绍,妙健康和百度合作后,妙健康将通过开放“妙+”物联网健康大数据平台,进一步与小度智能音箱打通SDK数据接口,一键连接300+智能健康监测设备

  • 2个月构建一个Go服务器,他通过众筹获得14万元

    Kaya.gs是使用Go语言构建的一个服务器,它的创始人Gabriel Benmergui仅用 2 个月的时间就完成该产品的构建及启动,并在随后几个月的时间内容通过众筹活动筹集了 2 万美元。然而,投入运行 1 年后,Kaya.gs就被迫关闭了。

  • 百度推出“高考放心搜计划”:清理2. 6万个恶意网站

    6 月 10 日,百度推出「高考放心搜计划」,为高三考生及家长提供信息和智能搜索服务:包括上千场高考直播、高考搜索大数据、闪电估分以及智能志愿助手等。考生和家长在百度App搜索「高考」、「高考直播」等关键词即可获取上述服务。

  • 感天动地却终究没法感动你!买199台服务器也没能让一个土豪脱单

    从前有一个年轻的土豪,他喜欢看直播,看美女,大学没读完就在家天天刷DOUYIN,家里怕他出去调皮。。这一天,他突然觉得无聊了,觉得这样每天打赏下去,就算不会坐吃山空,也会要么被主播害死,要么被老爸打死。于是他想做点什么正经事情了。他想多认识年轻漂亮的女孩,他渴望交友,于是他想做个交友的APP。比如MOMO这样的。做个APP,需要办执照,注册公司,办ICP,等等。他找来了平时的酒肉朋友,朋友告他除了办这些证照外,还需?

  • 排名超百度,这个搜索APP什么来头?

    搜索引擎行业风云变幻,各路人马登场亮相。今年 3 月,华为针对海外市场的搜索引擎HUAWEI Search开始内测。与此同时,经过半年多的测试,脱胎于网页版的头条搜索也上线了自己的APP。

  • 原百度集团副总裁韦方退出百度时代网络技术(北京)有限公司监事

    DoNews 7月2日消息(记者 程梦玲)天眼查数据显示:近日,百度时代网络技术(北京)有限公司发生工商变更,原百度集团副总裁韦方卸任监事,新增梁志祥为监事。百度时代网络技术(北京)有限公司成立于2006年4月,注册资本80万美元,公司经营范围包括开发、生产计算机软件;系统集成;提供技术咨询、技术服务;销售自产产品等。

  • 百度推出两个500万计划 加码云服务和AI人才培养

    【TechWeb】6月20日消息,百度宣布,未来十年将继续加大在人工智能、芯片、云计算、数据中心等新基建领域的投入。未来十年,预计到2030年,百度智能云服务器台数超过500万台。未来五年,预计培养 AI 人才500万。百度 CTO 王海峰表示:新基建将成为中国未来几十年经济发展的新动能,以人工智能、云计算、5G、物联网和区块链等为代表的新兴技术是其关键技术支撑。百度作为人工智能平台型企业,以多年积累的人工智能技术成果和实践经

  • 猿辅导招聘服务器端研发工程师(JAVA)诚邀技术大拿

    猿辅导是一家在线教育领域的互联网公司,众所周知互联网公司最重要的岗位非程序员莫属,猿辅导也不例外,近日猿辅导招聘服务器端研发工程师(JAVA)正如火如荼的进行着。猿辅导可以为工程师们提供舒适的工作环境以便大家可以大显身手。猿辅导望京办公楼猿辅导的这份工作主要内容是负责猿辅导主app相关产品服务器端的开发,而且作为一名有经验的研发工程师,你还需要指导新人进行开发。猿辅导的办公环境对于这个岗位,猿辅导有相应?

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议

热文

  • 3 天
  • 7天