首页 > 优化 > 关键词 > robots.txt最新资讯 > 正文

robots.txt的规则误区及百度和Google的robots工具的使用

2012-04-13 09:18 · 稿源:逍遥博客

对于robots.txt文件对于网站的作用大家都知道,但是通过观察发现,有些朋友对于robots.txt文件的规则还是有一定的误区。

比如有很多人这样写:

User-agent: *

Allow: /

Disallow: /mulu/

不知道大家有没有看出来,这个规则其实是不起作用的,第一句Allow: / 指的是允许蜘蛛爬行所有内容,第二句Disallow: /mulu/指的是禁止/mulu/下面的所有内容。

表面上看这个规则想达到的目的是:允许蜘蛛爬行除了/mulu/之外的网站所有页面。

但是搜索引擎蜘蛛执行的规则是从上到下,这样会造成第二句命令失效。

正确的规则应该是:

User-agent: *

Disallow: /mulu/

Allow: /

也就是先执行禁止命令,再执行允许命令,这样就不会失效了。

另外对于百度蜘蛛来说,还有一个容易犯的错误,那就是Disallow命令和Allow命令之后要以斜杠/开头,所以有些人这样写:Disallow: *.html 这样对百度蜘蛛来说是错误的,应该写成:Disallow: /*.html 。

有时候我们写这些规则可能会有一些没有注意到的问题,现在可以通过百度站长工具(zhanzhang.baidu.com)和Google站长工具来测试。

相对来说百度站长工具robots工具相对简陋一些:

百度Robots工具只能检测每一行命令是否符合语法规则,但是不检测实际效果和抓取逻辑规则。

相对来说Google的Robots工具好用很多,如图:

在谷歌站长工具里的名称是抓取工具的权限,并报告Google抓取网站页面的时候被拦截了多少个网址。

还可以在线测试Robots修改后的效果,当然这里的修改只是测试用,如果没有问题了,可以生成robots.txt文件,或者把命令代码复制到robots.txt文本文档中,上传到网站根目录。

Google的测试跟百度有很大的区别,它可以让你输入某一个或者某些网址,测试Google蜘蛛是否抓取这些网址。

测试结果是这些网址被Google蜘蛛抓取的情况,这个测试对于Robots文件对某些特定url的规则是否有效。

而两个工具结合起来当然更好了,这下应该彻底明白robots应该怎么写了吧。

转载请注明来自逍遥博客,本文地址:http://liboseo.com/1170.html,转载请注明出处和链接!

  • 相关推荐
  • 大家在看
  • 不会尬舞可以尬“键盘”!一键设置百度输入法流光键盘,让气氛嗨起来!

    以为只有去夜店才能证明你是整条街上最靓的仔吗? 醒醒吧! 2020 年已经不需要这么麻烦了,去夜店你还需要装备,还要担心发型不够酷,衣服不够潮,兜里钱不够多,而一款零成本却炫到爆的流光键盘就能瞬间点燃你的气场! 隆重介绍一下,百度输入法与罗技G、ROG玩家国度、HyperX、美商海盗船四大键盘厂商合作,业界首发的流光键盘功能现已上线。能够展示 1680 万真彩色的各种流光效果,包括炫彩潮汐、全彩呼吸、真彩波浪、新彩雨滴四大

  • 百度度小店是什么

    在抖音小店与快手小店之后,百度的度小店也来了。据了解,度小店平台成立于 2019 年 ,服务内容针对全面的电商解决方案,并提供建店、交易、结算、订单等全链路能力,充分满足客户所需,实现多维度营销及订单转化。那么度小店怎么样?以下是关于百度度小店的详细介绍。

  • 腾讯跟百度谈入股爱奇艺?百度:不予置评

    6月16日消息,外媒援引知情人士透露的消息称,腾讯已经与拥有56.2%爱奇艺股权的百度就购买爱奇艺股份进行接洽,计划成为爱奇艺的最大股东。对此消息,百度方面回应不予置评。最新财报显示,爱奇艺2020年第一季总营收达76亿元人民币(约合11亿美元),同比增长9%,但运营亏损仍然达到22亿元人民币(约合3.166亿美元)。根据易观千帆的数据显示,2019年9月国内综合视频app排行,日均使用时长上,爱奇艺和腾讯视频分居第一?

  • 百度为什么那么喜欢「卖」公司?

    自 6 月 16 日,路透社报道称腾讯欲取代百度控股爱奇艺后,微博话题#腾讯计划入股爱奇艺#阅读量高达6602. 6 万,讨论达1. 4 万,爱奇艺股价涨幅更是达到40%。如果交易达成,长视频格局将从此变天。

  • 电商,百度的新战役

    百度正在不遗余力的加码移动生态的服务能力。在今年 5 月份的万象大会上,百度集团执行副总裁沈抖明确表示:“服务是移动生态的新方向。”在沈抖说完这句话后的一个多月的时间里,百度完成了对电商平台有赞以及消费品排行榜盖得排行的投资。

  • 度小店赚钱吗?百度度小店挣钱吗

    现在还是做网店创业赚钱的时候吗?遍地都是卖家,怎么才能从中脱颖而出?现在开店平台多了一个新的选择,百度度小店是为所有有开店诉求,具备企业或个体工商户资质的企业、机构、个人提供的直营电商行业解决方案,提供建店、交易、结算、订单等全链路能力,帮助电商客户实现多维度营销及订单转化。那么百度度小店挣钱吗?

  • ​百度回应向腾讯出售爱奇艺股权:爱奇艺是百度重要组成部分

    今日,针对“百度拟向腾讯出售爱奇艺股权”的报道,百度公关总监郭锋回应称,大家别乱猜了。爱奇艺是百度内容生态战略的重要组成部分,百度会一如既往地支持爱奇艺的发展。

  • 百度李震宇:百度无人车业务不会拆分 没有对外融资计划

    在今日下午的Apollo媒体沟通会上,百度集团副总裁、智能驾驶事业群组总经理李震宇表示,百度无人车不会分拆,现在也没有对外融资的计划。

  • Chrome用户现可利用安全检查工具扫描出不必要应用

    谷歌正在添加Chrome Cleanup工具,该工具在Chrome设置中已经可用,用户可以通过“安全检查(Safety check)”来扫描并删除电脑上的不需要的应用软件。首先,谷歌引入了为Chrome浏览器打造的Software Removal工具(之后将其重命名为Chrome Cleanup),其以独立的程序身份供用户下载并对在Chrome浏览器中的不必要应用(Potentially Unwanted Programs)进行扫描和修复。Chrome Cleanup目前已被集成到Chrome设置和Sandbox引擎及

  • 排名超百度,这个搜索APP什么来头?

    搜索引擎行业风云变幻,各路人马登场亮相。今年 3 月,华为针对海外市场的搜索引擎HUAWEI Search开始内测。与此同时,经过半年多的测试,脱胎于网页版的头条搜索也上线了自己的APP。

  • 原百度集团副总裁韦方退出百度时代网络技术(北京)有限公司监事

    DoNews 7月2日消息(记者 程梦玲)天眼查数据显示:近日,百度时代网络技术(北京)有限公司发生工商变更,原百度集团副总裁韦方卸任监事,新增梁志祥为监事。百度时代网络技术(北京)有限公司成立于2006年4月,注册资本80万美元,公司经营范围包括开发、生产计算机软件;系统集成;提供技术咨询、技术服务;销售自产产品等。

  • AppsFlyer 发布 Zero 套餐,为企业提供终身免费的营销工具与API

    Zero 套餐是 AppsFlyer 零预算营销计划的一部分,通过整合产品与工具,为开发者、营销人员与产品经理揭示核心自有渠道的潜在价值 2020 年 6 月11 日, 北京 ,今天,全球归因领导者 AppsFlyer 宣布推出终身免费套餐 Zero,该套餐是 AppsFlyer 近期推出的零预算营销计划(Zero Budget Marketing Initiative)的一部分。这一计划旨在为移动应用开发者、营销人员和产品经理免费提供领先的营销工具与 API,赋能增长,并最大限度发掘企业

  • 腾讯老干妈纠纷 百度接锅否认三连:与度无关

    7月1日消息,这两天,关于腾讯和老干妈公司之间因为广告费而引发的问题吸引了诸多网友关注。就在今天贵阳警方发布通报,有3人伪造老干妈印章与腾讯签订合同,已被刑拘。“3人伪造老干妈印章与腾讯签合同”一度成为微博上的热门话题。今天下午,网络上突然流传出一则“ 腾讯状告老干妈拖欠广告费提及某搜索引擎”的截图。对此,百度搜索紧急发布了“否认三连”表示此事与百度无关:“手里的瓜突然不香了……有一说一,?

  • 网页排序哪5个特征,百度颇为喜欢?

    常常用于表达一个人对于另外一个人的情有独钟,而在搜索引擎的领域里,很多SEO人员,常常试图去找寻一个“唯一的真理”那就是搜索排序中,到底哪个排序特征对于网页来讲,是最为重要的一个因素,而“我只喜欢你”,对于SEO而言,能不能真的把SEO做好。

  • 百度打脸哈佛新冠肺炎论文:不严谨

    6月12日消息,今年6月8日美国哈佛医学院一研究团队在哈佛 DASH 学术平台发表一篇未经同行评议的论文称,通过分析武汉医院停车场卫星图片、百度搜索趋势数据,发现早在2019年8月,武汉就开始出现新冠肺炎流行的迹象。因为该论文使用百度上“咳嗽”与“腹泻”关键词检索数量的变化来推导结论,对此,百度方面进行回应,表示,哈佛大学医学院论文这种研究方式是“非常牵强和不严谨的”,并呼吁相关研究更加科学严谨地引用

  • 百度移动生态事业群已经完成搭建直播中台

    近日百度移动生态事业群已经完成搭建直播中台,组建独立团队,负责人为古丰(真名为陈罗金),向百度副总裁、百度App总经理平晓黎汇报。公开资料显示,陈罗金 2010 年从网易加入YY欢聚时代,并发起和孵化了YY的游戏直播团队

  • 爱采购是什么?百度爱采购平台介绍

    百度爱采购是百度旗下的B2B垂直搜索引擎,于 2018 年 10 月 19 日上线。百度爱采购旨在帮助用户一站直达全网商品信息,触达海量优质商家。商家可通过百度爱采购与百度搜索无缝对接,满足用户对于采购信息检索的需求,同时为入驻企业找到精准买家。百度爱采购用AI帮助中小企业更好地解决采购批发渠道、货源问题。以下是百度爱采购平台的详细介绍。

  • 直播带货段位升级:从“OMG,买它”到百度“慢”直播

    刚刚结束的618,最大的亮点当属直播带货。抖音、快手等短视频平台拥有头部主播,发挥了“人”的核心优势;淘宝、京东等电商平台展现了“货”的优势;而百度作为知识与信息的平台,像一路奇兵,发挥了“场”的优势。

  • 百度知识直播带货,这条弯路能走通吗?

    直播带货都如火如荼了,百度才匆匆入场,显得有些后知后觉。但百度的确带来不一样的直播玩法。如果说老罗亲自直播带货,是作为商人的执著;那么李彦宏布局百度「知识直播带货」,就是文人企业家的变通。

  • 路透:腾讯计划入股爱奇艺 已经与百度接触

    路透社援引两名知情人士消息称,腾讯控股打算成为它的视频流媒体竞争对手爱奇艺的最大股东,以降低成本。其中一名知情人士表示,腾讯已经与爱奇艺56.2%股份持有者百度进行接触,希望购买规模尚未确定的股份。不过目前还不清楚腾讯是否已经与爱奇艺接触。该名知情人士称,采取这样的策略将可以提高生产和购买内容时的议价能力,同时降低营销成本。知情人士也表示,该计划尚处于早期阶段,随时可能

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议