首页 > 优化 > 关键词 > Robot最新资讯 > 正文

SEO扫盲:Baiduspider,Robot是什么?

2011-03-04 14:41 · 稿源:北极星辰的成长空间

编者按,如果你是一位新手站长,不明白什么是Robot,不知道如何查看网站日志?不用怕,这篇SEO扫盲文章教你如何查看网站日志。

Robot英文直译是机器人,在搜索引擎优化SEO中,我们经常翻译为:探测器。

有时,你会碰到crawler(爬行器),spider(蜘蛛),都是探测器之一,只是叫法不同。

SEO中常说的这个探测器(Robot)是什么?

搜索引擎用来抓取网页的工具。它是一个软件或者说一系列自动程序(显然,不是一部机器)。

不同的搜索引擎给他们自己的探测器(Robot)起不同的名字。

谷歌:googlebot 百度:baiduspider MSN:MSNbot Yahoo:Slurp (yahoo家的这位比较特殊,没有带“姓”,并且用的是一个拟声词。Slurp,中文理解是机器人吃东西时发出的啧啧的声音)

关于Robot,需要关心的主要是Robots.txt,以及网站日志中包含的以上几个名字。

百度用于抓取网页的程序叫做Baiduspider – 百度蜘蛛,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。

查看日志的方式:

通过FTP,在网站根目录找到一个日志文件,文件名一般包含log,下载解压里面的记事本,这即是网站的日志,记录了网站被访问和操作的情况。

因为各个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。

日志内容如下:

61.135.168.22 – - [11/Jan/2009:04:02:45 +0800] “GET /bbs/thread-7303-1-1.html HTTP/1.1″ 200 8450 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)”

分析:

GET /bbs/thread-7303-1-1.html 代表,抓取/bbs/thread-7303-1-1.html 这个页面。

200 代表成功抓取。

8450 代表抓取了8450个字节。

如果你的日志里格式不是如此,则代表日志格式设置不同。

很多日志里可以看到 200 0 0和200 0 64 则都代表正常抓取。

抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断。当然,我们希望百度蜘蛛每日抓取的次数越多越好。

文章来源:北极星辰的成长空间 转载请注明出处链接。

  • 相关推荐
  • 大家在看
  • 分析师认为苹果应该收购DuckDuckGo搜索引擎 以向谷歌施压

    伯恩斯坦公司(Bernstein)分析师Toni Sacconaghi在分享的一份研究报告中表示,苹果应该收购一家搜索引擎公司,向谷歌施加压力。

  • 谷歌前广告主管正在打造一款无广告的搜索引擎

    据外媒报道,Sridhar Ramaswamy于 2013 年成为谷歌广告和商务高级副总裁。他领导着这个价值 1150 亿美元的分支机构达五年之久,该机构负责通过AdSense在搜索、YouTube和网站上出现的广告。但因受够了谷歌的暴利和客户与广告商之间的利益冲突,Ramaswamy选择离开谷歌并创建了自己的搜索引擎。

  • Zoom Video收盘创下新纪录 涨幅8.88%

    避难所股票周一上涨,跑赢大盘,由于国内外新出现的COVID-19案件再度兴起,Zoom Video Communications Inc.的股票收盘创下新纪录。变焦视频 US:ZM 周一,该股收于创纪录的239.02美元,涨幅8.9%,此前曾创下历史新高239.59美元。同时,标准普尔500指数 US:SPX 收盘上涨0.8%,科技含量高的纳斯达克综合指数 US:COMP 收盘上涨1.4%,从周一盘初的跌势中反弹。在美国,佛罗里达州和德克萨斯州等州的病例数再度飙升,导致COVID-19

  • 谷歌Pixel 4 Android 11降级Android 10出bug:面部识别不能用

    6月15日消息,上周Android 11 Beta 1正式上线,谷歌Pixel机型率先尝鲜。考虑到这是Beta版Android 11,系统方面不够稳定,不少Pixel用户升级到Android 11之后选择降级回到Android 10,然而在降

  • Windows Insider现启用Dev/Beta/Release Preview新名称

    ​从某种角度来说,Windows 10 的成功很大程度上归功于 Windows Insider 项目的良性循环。该项目不仅让用户提前体验各种新功能,也帮助微软构建了完善的测试系统和反馈机制。在成功运行超过五年之后,近日微软宣布对 Windows Insider 项目进行一些调整。

  • 不止米10/10 Pro 小米POCO F2 Pro也即将升级Android 11

    谷歌Android 11 Beta 1已经上线,各家品牌公布了相关适配计划。6月12日消息,POCO官方推特预告,小米POCO F2 Pro即将适配Android 11。此前MIUI确认小米10、小米10 Pro将升级到Android 11,这

  • 谷歌佩奇支持的Kitty Hawk中止Flyer飞车计划 将专注打造Heaviside

    【TechWeb】6月5日消息,据国外媒体报道,谷歌联合创始人拉里·佩奇支持的初创公司Kitty Hawk日前宣布,将中止Flyer飞车计划,专注打造新款飞行汽车Heaviside。Flyer(图片来自Kitty Hawk官网)Flyer是Kitty Hawk最开始打造的飞车,最新版本如上图所示。Kitty Hawk介绍称,公司一共打造了111架Flyer飞车,并且进行了 25000次载人与无人飞行。Kitty Hawk表示,从Flyer项目学到了许多东西,包括飞车设计,测试、制造等等。不过,外?

  • Google正式发布Android 11首个Beta版本

    DoNews 6月11日消息(记者 刘文轩)Google已经取消了6月3日发布Android 11的计划,不过当时已经有一些Pixel手机用户表示自己收到了Android 11 beta版推送。现在,该系统的首个beta版本终于正式登场了。Google在今天凌晨直接推出Android 11的首个beta版本,Android 11将带来重新设计的短信通知界面、改进的隐私功能、对可折叠设备的支持、快速访问智能家居等特性。明尼阿波利斯的非裔男子George Floyd被白人警察的膝盖压住脖子后死?

  • 谷歌Pixel尝鲜!Android 11 Beta 1发布

    6月11日消息,谷歌正式推出Android 11 Beta 1。当前谷歌Pixel 2、Pixel 2 XL、Pixel 3、Pixel 3 XL、Pixel 3a、Pixel 3a XL、Pixel 4、Pixel 4 XL等机型可以尝鲜Android 11 Beta 1。对话通知

  • Android更新改进了“就寝时间”功能体验

    早在两年前的 I/O 2018 开发者大会上,谷歌就已经介绍过旨在改善现代人健康生活习惯的“数字福利”套件,尤其是管控睡前的屏幕使用时间。去年的 I/P 2019 开发者大会上,谷歌扩展了这款工具,并改善了家长控制体验。今年的 I/O 2020 开发者大会因受 COVID-19 疫病影响而显得更加特殊,但谷歌并未放弃进一步改善“数字福利”功能,并推出了全新的“就寝时间”(Bedtime)管理工具。

  • Android 11 Beta 1上线:小米10/10 Pro率先升级

    6月12日消息,MIUI官方推特预告,小米10、小米10 Pro即将升级Android 11 Beta 1。据悉,Android 11有三大主题:人、交互、隐私。在Android 11上,谷歌在其顶部通知栏提供了对话通知选项,通

  • 梅赛德斯(Mercedes)和英伟达(Nvidia)合作建立强大的计算平台

    [TechWeb]梅赛德斯·奔驰(Mercedes-Benz)与英伟达(Nvidia)合作开发用于汽车的下一代计算平台,该平台将支持从空中软件更新到自动驾驶的所有内容。这家德国汽车制造商表示计划从2024年开始在其车队中推广这项新技术。新平台将基于Nvidia的片上系统Orin技术,还将使用基于San Jose的公司完整的Drive AGX软件堆栈。Nvidia 于2019年12月在CES上首次展示了Orin ,除了顶级规格(例如每秒可以进行200万亿次运算,同时使用更少的功率

  • iOS 14上的这15个新功能:Android粉丝们眼红了

    Android极客所在的AP网站日前撰文谈到了对iOS 14的体验,并列举出15项后者引入的新功能,并期待原生Android也能效仿加入,不妨来了解下。1、Universal search通用搜索通用搜索栏可启动应用程

  • Android 11中的“对话”功能可能不会在所有设备上提供

    Android11 将带来许多功能和改进,包括通知菜单中的 "对话"类别,这种形式可以帮助管理各种消息服务的所有正在进行的聊天信息,方便即时回复。然而现在看来,并不是所有Android设备都有望在升级到版本 11 以后获得该功能。

  • Android 12曝光:谷歌欲全面抛弃对32位的支持

    因为32位的固有限制,不少主流操作系统已经切换到64位环境,比如iOS 11、macOS Catalina等,Windows 10也自v2004版本开始停止向OEM分发32位系统。下面,该Android了。据开发者爆料,Android

  • 神速!官方确认:基于Android 11的MIUI 12很快发布

    今日,ColorOS官微宣布,Find X2系列基于Android 11 Beta1版本的ColorOS测试版正式上线。 开发者与尝鲜用户可以通过OPPO开放平台下载体验。随后,小米手机系统软件部总监张国全

  • 谷歌意外推送Android 11 Beta更新,新功能泄露

    据Android Police 消息,谷歌日前已推迟原定于本周举行的 Android 11 Beta 发布活动,但有少数用户的 Pixel 4 XL 手机上提前收到了 Android 11 Beta 更新,于是一些新功能被泄露出来

  • 谷歌推出Android新功能:“呼叫验证”可减少垃圾电话

    据外媒PhoneArena消息,谷歌开发出了一项新的Android功能——“呼叫验证”,该功能可以帮助用户确定是否需要接听电话。

  • Android 11 Beta发布:8款国产安卓手机均能升级

    本周,Android 11 Beta正式推送,第一时间,Pixel 2系列及以上“亲儿子”机型率先达成升级。不过,紧接着,多款国产安卓手机也宣布开放或即将开放升级,经不完全统计,目前已经有小

  • Android 11 Beta 1推送:新功能神似魅族Flyme小窗模式

    6月11日消息,谷歌今日凌晨正式推送了Android 11 Beta 1。新增可悬浮聊天气泡,交互也更智能。据悉,谷歌在Android 11中系统新增了悬浮聊天气泡,其顶部通知栏提供了对话通知选项,通知到来时

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议