首页 > 经验 > 关键词  > 网站日志最新资讯  > 正文

教你查看日志中蜘蛛的访问行为

2012-09-12 13:58 · 稿源:cdfei.com

网站日志,是服务器端自动生成的一个文本记录,详细记载了网站的访问详情,做为站长的你,如果是需要查看访问统计数据,那用51.la或者百度统计 工具就可以了,但是如果你想查看各搜索引擎的蜘蛛是否准时来爬行自己的网站,那就要学会自己查看网站日志文件了。结合我们自己的网站做为一个实例来做一个介绍:

首先利用FTP工具登录服务器端,一般在服务器根目录之下存在一个logs文件夹,这里面装的就是网站日志,当然不同的服务器类型,日志文件的文件夹名称和我介绍的不一样,但没关系,日志文件的扩展名是log。

进入日志文件夹,你会发现,日志文件是按每一天的访问情况为一个文件保存的:

好吧,我的服务器只保留最近三天的日志文件,真小气,我还用过一个国外的服务器,人家是按月记录,并且当月结束后会将当月的日志打包供下载,只要你不人为删除,该日志文件会永远存在,这才叫个性化,但是没办法,谁叫我们只能用国内的服务器。

OK,报怨了几句,随便下载一天的日志文件,用Windows文本工具打开该日志文件,会看到一堆酷似代码的字符,祝文件大小打开速度也不同:

注意看有背景的这一小部分,我用CTRL+F搜索功能查找baiduspider,好吧,为什么要查找baiduspider,这里先普及一下关于搜索引擎蜘蛛的一点小知识,各大搜索引擎的蜘蛛都有名字:

百度的叫baiduspider;

谷歌的叫Googlebot;

微软的叫bingbot;

搜狐的叫Sogou web spider;

腾讯的叫Sosospider;

因为国内主要是以百度为优化对象,我们来看看关于百度蜘蛛爬行记录的信息分析,在日志记录中随便找一个百度蜘蛛的信息:

125.90.88.96 - - [07/Sep/2012:19:16:21 +0800] "GET / HTTP/1.1" 200 5374 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +https://www.baidu.com/search/spider.html)"

怎么解读这些信息呢?蜘蛛IP--【访问时间】“获取路径”HTTP反馈值200 反馈字节数5357 百度蜘蛛标记。

好吧,这里面获取路径与HTTP反馈值是非常重要的信息,200为正常读取,读取了5374个字节。我们再分析一条记录:

220.181.51.118 - - [07/Sep/2012:09:54:15 +0800] "GET /product/disp.php?id=93 HTTP/1.1" 301 249 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +https://www.baidu.com/search/spider.html)"

认真看获取路径这一项,因为我的网站是老域名,原来的主人被收录的路径/product/disp.php?id=93,百度蜘蛛同样爬行,结果我的 新网站里肯定不会有这一条信息,由于HTTP反馈了301,而301代表已移动 — 请求的数据具有新的位置且更改是永久的。其实这对于我来说是一件好事,蜘蛛爬行不通,知道这条收录记录已经失效,慢慢就会从百度的收录数据库中删除。现在 百度正在审核我的新站点,一天爬行只有23次,也很不错了的。

好了,大家是不是可以举一反三的学会看其它搜索引擎蜘蛛的爬行记录了呢?下次,笔者将重点再分享一下HTTP的反馈值,大家通过这个反馈值可以获悉自己网站的健康状态哦,非常重要。

当然,有朋友会说为什么不利用一些日志查看工具,人工手动察看费时费力,是的,有些不错的工具可以提供更便捷的操作,今天笔者所述内容旨在用最初级的方法教会大家学会察看自己网站的日志。希望以上内容能对你有点帮助。

本篇文章地址:https://www.cdfei.com/experience/seo/seo-76.html,转载请注明链接谢谢。

  • 相关推荐
  • 大家在看
  • Fortnite关闭其在中国的服务器

    Fortnite的手机游戏自2018年开始在中国上市,由于严格的政府监管,该游戏从未真正退出该地区的测试阶段。现在开发者正式宣布他们将关闭中国的Fortnite服务器。虽然开发商的官方声明没有指出具体的原因,但可以肯定的是,这是因为中国政府继续收紧对游戏行业的限制。最近对儿童玩游戏的限制只是一个例子。18岁以下的人每周不能玩超过3小时。获得在中国销售虚拟物品的许可越来越难,Fortnite的freemium商业模式在中国市场上也没有意?

  • 将为Meta服务器提供芯片 AMD股价一涨超12.5%

    凤凰网科技讯 北京时间11月9日消息,当地时间星期一,AMD公布了多款面向不同数据中心负载的专用处理器,并宣布Meta(即之前的Facebook)将成为其服务器芯片客户,在这两个消息拉动下,常规交易中AMD股价上涨13.82美元,涨幅为10.14%,报收于150.16美元,盘中一度摸高153.48美元,涨幅达到12.57%。Rosenblatt证券公司分析师汉斯摩塞斯曼(Hans Mosesmann)发表投资报告称,AMD获得Facebook订单让人感到意外,因为后者传统上只选用英

  • 双十一云服务器续费

    说起双11 活动,虽然大部分云服务器抢占的都是新用户市场,但是仍然有大量的云服务器需要续费再使用,将优惠适当的倾斜给老用户其实也是一个不错的策略。小编打探了今年的各家云服务商的双11 续费活动,还是西部数码家的云服务器,续费最给力!先来看看今年的云服务器续费活动吧,今年在西部数码续费云服务器,所有级别的会员都可以使用优惠券对此前已经购买的云服务器(也包括虚拟主机)进行续费,续费的折扣最低是8 折,具体登陆

  • 赵文卓代言《剑1:归来》,代言人专属服务器今日开放

    剑侠归来,以和为贵。由西山居原班人马打造的剑侠情缘复刻手游《剑网1:归来》,自 10 月 15 日开启全平台不删档测试以来得到玩家群体的积极反馈。游戏开服首日,紧急加开 32 组服务器,一度仍难满足汹涌的人潮;更有玩家为重温经典,甘愿在 5 千人的队伍中默默排队守候。今日,游戏再度发布消息——邀请功夫巨星赵文卓作为“剑网 1 归来代言人”,同时,赵文卓专属服务器【以和为贵】将于今日在游戏中同步开放!广大侠士门一起回?

  • “学生党”免费内穿透,3步外访问本地tomcat服务器

    学习网站开发的同学,一般都安装过IIS或者Apache Tomcat等Web服务器,如果是用自己电脑搭建的本地服务器,部署的Web应用只能在校园网或家庭网内访问。如果需要远程调试或者在外网使用,没有公网IP该怎么办呢?一款简单易用、安全稳定的内网穿透软件——花生壳,简单 3 步即可满足在任何时间、任何地点、任何线路,通过花生壳固定的域名访问到内网主机的服务和应用。尤其对学生党来说,花生壳免费开放 “青春版”服务,可以通过学生

  • 穿透打破局域地域限制,3分钟访问总部服务器协同办公

    随着经济发展和企业业务的扩展,很多企业形成了以总部为中心的多点生产体系结构,为促进异地业务的信息共享、提高办公处理效率和综合管理水平,企业常借助网络化办公工具搭建跨区域协同办公系统,以满足总部与分支机构间的信息互通。江苏某信息技术公司提供知识产权金融服务,帮助中小企业通过知识产权与金融资本进行对接融资,使用的“知识产权金融智能服务系统”是该公司的业务流程管理系统,提供内部审批、办公和业务管理等,需

  • 疯狂炒冷饭:暴雪再次拍卖《魔兽世界》退役服务器

    暴雪这几年似乎是将情怀”作为了一个稳定收入的金字招牌,《魔兽世界:怀旧服》,《魔兽争霸3:重铸版》,《暗黑破坏神2:重制版》等等几乎是写满了情怀”二字的游戏被暴雪一个接一个的端上台。而如果说到暴雪在卖情怀”上的操作,不得不说的一点就是《魔兽世界》服务器纪念套装了。近日,暴雪官方旗舰店上架了新的拍卖商品:《魔兽世界》国服退役刀片服务器三部曲金色典藏礼盒套装。据悉,这次进行拍卖的退役刀片服务器三部曲金色

  • 针对Linux服务器!用Go编写的勒索软件变种

    安全公司 ESET 研究实验室发现,Hive 的 Linux 变种存在许多严重的 bug,例如当它以显式路径执行时,加密会完全失败。Linux 变种只支持单个命令行参数 (-no-wipe),而它的 Windows 版本支持5个执行选项,包括杀死进程、跳过磁盘清理、绕过不感兴趣的文件和旧文件等。此外,如果 Hive 的 Linux 变种在没有 root 权限的情况下执行,同样无法触发加密,因为它试图将赎金记录放在受感染设备的根文件系统上。

  • 易多款游戏出现络故障 官方回应已解决:用干冰修好了服务器

    昨日晚间,网易旗下多个游戏出现登陆异常情况,时间大约从20点20后开始。23点12分,《永劫无间》官微确认修复完成,并复盘了背后故事。20点20分前后,官网版不能登录,Steam正常,正在游戏中的玩家也没有收到影响,咄咄怪事。马上机房传来报警,温度过高。部分服务器过热宕机。”空调重新开机也没有解决问题,涉及到的游戏太多了也无处借服务器,无路可走,怎么办!这时候有个技术大哥,估计小时候积累了丰富的偷玩游戏的经验,不?

  • 原好未来CFO罗戎加盟百度 出任百度集团CFO

    百度今天发布全员信,宣布罗戎(Julius)今天正式加盟百度,任集团公司首席财务官(CFO),向百度CEO李彦宏汇报。

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天