首页 > 优化 > 关键词 > robots协议最新资讯 > 正文

如何利用robots协议优化你的WordPress博客站

2016-02-29 13:49 · 稿源:xxjz的网站

很多新手建站朋友对robots协议文件的重要性不是很清楚,本篇文章由昆明SEO博主普及一下WordPress站点robots协议文件编写知识。robots协议(也称为爬虫协议、机器人协议 等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。robots协议主要注意以下几大方面:

一、使用robots协议需要注意的几点地方:

1、指令区分大小写,忽略未知指令。

2、每一行代表一个指令,空白和隔行会被忽略。

3、“#”号后的字符参数会被忽略。

4、有独立User-agent的规则,会排除在通配“*”User agent的规则之外。

5、可以写入sitemap文件的链接,方便搜索引擎蜘蛛爬行整站内容。

6、尽量少用Allow指令,因为不同的搜索引擎对不同位置的Allow指令会有不同看待。

7、robots.txt 文件必须放在网站的根目录,不可以放在子目录。

二、robots协议文件写法:

1、User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

2、Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

3、Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

4、Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录

5、Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)

6、Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址

7、Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片

8、Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件

9、Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

10、Allow: /tmp 这里定义是允许爬寻tmp的整个目录

11、Allow: .htm$ 仅允许访问以".htm"为后缀的URL

12、Allow: .gif$ 允许抓取网页和gif格式图片

13、Sitemap: 网站地图 告诉爬虫这个页面是网站地图

三、robots协议文件实际说明:

1、User-agent: * //设置robots规则适用的浏览者身份为全部UA身份

2、Disallow: /*?* //屏蔽掉页面中的动态路径

3、Disallow: /?p=* //屏蔽掉非固定链接的文章页面路径,因为每个页面中都会有一个shortlink使用的是?p= 的路径。

4、Disallow: /index.php //屏蔽掉首页默认页面的index.php 页面地址

5、Disallow: /wp-admin //屏蔽掉后台登陆页面地址,主要是考虑到服务器安全

6、Disallow: /wp-content/plugins //屏蔽掉wordpress的插件目录

7、Disallow: /wp-content/themes //屏蔽掉wordpress的模板目录

8、Disallow: /wp-includes //屏蔽掉wordpress的底层程序目录

9、Disallow: /trackback //屏蔽wordpress的页面回评路径

10、Disallow: /*/*/trackback //屏蔽wordpress分类目录、文章页面的回评路径

11、Disallow: /feed //屏蔽wordpress的内容订阅路径

12、Disallow: /*/*/feed //屏蔽wordpress分类目录、文章页面的订阅路径

13、Disallow: /comments/feed //屏幕wordpress评论的订阅路径

14、Disallow: /page/ //屏蔽默认的翻页路径

15、Disallow: /*/*/page/ //屏蔽分类目录的翻页路径

16、Disallow: /page/1$ //屏蔽翻页路径中的数字路径

17、Disallow: /tag/ //屏蔽标签页面

18、Disallow: /?s=* //屏蔽搜索结果路径,主要是避免搜索结果的缓存被搜索引擎收录

19、Disallow: /date/ //屏蔽按日期分类显示的列表页面

20、Disallow: /author/ //屏蔽作者文章列表页面

21、Disallow: /category/ //屏蔽以category为起始路径的分类路径,如果您没有使用插件生成不带category前缀的路径时,请不要使用此项规则。

22、Disallow: /wp-login.php //屏蔽后台登陆页面

四、robots协议设置方法

1、写好之后把文件重命名为:robots.txt 然后用FTP上传到网站的根目录下面,切记不是主题的根目录下而是网站的根目录。

2、利用站长工具自动生成,网址:http://tool.chinaz.com/robots/

3、利用SEO插件设置,比如Yoast SEO、all in one seo

五、robots协议的作用

1、引导搜索引擎蜘蛛抓取指定栏目或内容;

2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接;

3、屏蔽死链接、404错误页面;

4、屏蔽无内容、无价值页面;

5、屏蔽重复页面,如评论页、搜索结果页;

6、屏蔽任何不想被收录的页面;

7、引导蜘蛛抓取网站地图;

六、如何查看robots协议:

1、WordPress站点默认在浏览器中输入:http://你的域名/robots.txt

比如星辰seo博客:http://xxjz001.com/robots.txt

2、打开FTP,找到网站根目录查看robots.txt文件

总结:robots协议需要的注意地方,以及写法,设置方法,作用,如何查看就介绍到这里,相信大家对robot协议已经有了比较详细的了解。使用好robots协议对于我们网站的SEO有着重要作用,做的好可以有效的屏蔽那些我们不想让搜索引擎抓取的页面,也就是对用户体验不高的页面,从而将有利于关键词排名的内页充分展示个客户,获得搜索引擎对站内页面的权重,从而有利于我们将网站关键词排名做的更好,从而获取更多流量。

作者:星辰seo博客

  • 相关推荐
  • 大家在看
  • pdf怎么转换成word?这些pdf转word方法需要掌握

    pdf怎么转换成word?pdf文件的特点,大家多少会了解一些。虽然pdf格式的文件比较受小伙伴们的欢迎,但是很多的小伙伴对pdf文件的编辑操作有些苦恼,想要编辑pdf文件,可以通过文件转换的方式,将pdf转换为word文档,这样就可以编辑pdf的内容了。方法一:迅捷PDF转换器使用转换工具来完成pdf相关文件的转换是比较方便的。首先,我们需要在电脑中将转换工具给打开,然后找出对应的功能。如该软件默认的功能是“文件转word”,刚好可以?

  • P40 Pro传50GB文件只要十几分钟 华为揭秘:打破TCP协议限制

    换手机最痛苦的一件事大概就是倒资料了,如果微信用的比较多,那文件总量动辄几十甚至上百GB。这么多文件在两台手机之间传输很费时,但华为EMUI 10.1手机快得很,50GB文件十几分钟就传完了。用

  • 苹果推出SSD Kit:Mac Pro可自行升级8TB硬盘

    除了给Macbook Pro笔记本增加了AMD的Radeon RX 5600M显卡之外,苹果还给Mac Pro电脑推出了一个小工具——SSD Kit,可以让用户自行升级SSD容量,最高8TB,售价还没公布。苹果的Mac P

  • 唯一坚持MLC闪存!三星980 PRO PCIe 4.0 SSD韩国过审

    PCIe 4.0 SSD已经多如牛毛,但说到闪存,清一色都是TLC,而很多人念念不忘的MLC已经几乎绝迹。如果你实在需要MLC,可以等等三星980 PRO,因为它是如今几乎唯一硕果仅存的消费级MLC SSD。三星9

  • 快递助农 极兔速递与广西农垦签署合作协议

    6 月 16 日,为了助力广西的农副产品走出去,极兔速递与广西农垦优选服务平台签署合作协议,在消费扶贫、快递助农等方面达成一揽子合作。广西特色优质农产品众多,然而很多好货却“养在深闺人未识”,面临着“顾客购买难、农民销售难”的困境。极兔速递联手广西农垦优选服务平台,通过智能化供应链体系对进驻平台的商品进行销售,助力脱贫攻坚。在合作启动仪式现场, 400 多种广西垦区优质产品、贫困县扶贫产品通过平台售卖,带动?

  • 联通回应用户被要求使用5G手机卡:严格按照协议 合法合理

    近日,张先生表示,自己办理了北京联通的一款“5G+宽带”融合套餐,并按期足额缴纳了套餐月租,但因未使用套餐内的5G手机卡,便被北京联通切断了宽带。

  • 罕见MLC闪存!三星980 PRO PCIe 4.0 SSD两个月内见

    无论是在消费级市场,还是数据中心领域,PCIe 4.0 SSD产品都已经相当丰富,而作为SSD界杠把子的三星电子,早在年初CES 2020上就展示了自己的首款消费级PCIe 4.0 SSD 980 PRO,半年过去了却迟迟没

  • 阿里格兰仕签订合作协议 去年格兰仕曾起诉天猫

    今日,阿里巴巴与格兰仕签订合作协议,双方将在产品创新、新品研发、IoT技术应用等领域开展数字化合作。据悉,与家电领军企业格兰仕的合作,是阿里巴巴发挥数字化优势,促进新消费、盘活新市场、加速家电产业数字化升级的系列举措之一。

  • 旅游巨头途易(TUI)就737 MAX停飞与波音达成补偿协议

    【TechWeb】北京时间3日消息,德国旅游巨头途易集团(TUI)周三表示,已于波音公司就其737 MAX飞机停飞造成的损失达成补偿协议。这将大大减少其未来几年的资本和融资需求。虽然这项协议的财务条款是保密的,但途易表示,其获得的赔偿将弥补该型号飞机停飞造成的财务损失的很大一部分,波音还同意对其未来的飞机订单提供优惠。根据协议,途易未来几年将接收比原计划更少的737 MAX飞机交付,付款时间表也将相应修改。该公司预计未来

  • 好风借力,乘势上云〡荣之联与利亚德签署战略合作协议

    6 月 23 日,荣之联与利亚德集团在北京举行战略合作签约仪式,双方将在媒体显示技术产品方案的开发、销售、推广应用等方面展开深入合作。 荣之联董事长王东辉、CEO闫国荣、副总裁张赐安,利亚德集团董事长兼总裁李军、集团执行总裁袁波出席签约仪式并发表致辞。 近年来,会议室商显设备的核心逻辑正在向智慧化升级,从此前“单独的显示中心”,变革为“显示+应用功能”的双中心。为了适应智慧化社会、数字化办公潮流,会议商显设?

  • 巫师财经二度回应B站:已表明不签署协议 并完成公证

    就在刚刚,巫师财经发布声明再次回应B站,同时晒出了《不签署深度合作协议说明》以及公证书。巫师财经在声明中称,2020年5月19日,自己按照法律程序向B站正式发函,表明撤回自己的签字、不签署协议,并于中华人民共和国北京市东方公证处完成公证。

  • 强强合作!Slack与亚马逊达签署协议,共同对抗微软

    Slack与亚马逊签署了一项多年协议,这意味着所有亚马逊员工都将开始使用Slack。在该交易达成之际,Slack正面临来自Microsoft Teams的日益激烈的竞争。同时随着亚马逊网络服务(AWS)的广泛采用,Slack还将把语音和视频通话功能转移到亚马逊的Chime平台上。

  • 从这个失败的博客案例中可以学到的7个教训

    迈克尔·伦纳德(Michael Leonard)原本是一个公司职员,后来自己创建了一个博客,才刚赚 200 美元,他就决定辞掉 12 万美元的工作,并把精力全部投入到博客中。

  • 蔚来披露合肥战略投资协议重大进展 已实质性完成注资

    蔚来披露合肥战略投资协议重大进展,称已按计划实质性完成注资。今年 4 月 29 日,蔚来官方宣布,蔚来中国总部落户合肥项目协议正式签署,战略投资者将向蔚来中国投资 70 亿元人民币,而蔚来将向蔚来中国投资42. 6 亿元人民币。

  • 江淮汽车与大众汽车签下重量级合作协议

    近日,江淮汽车与大众汽车签署电动车深化合作意向书。据了解,大众汽车将投资 10 亿欧元,获得安徽江淮汽车集团股份有限公司母公司——安徽江淮汽车集团控股有限公司50%的股份,这也是江淮汽车与大众汽车继 2017 年江淮大众汽车公司成立之后的再度携手。大众汽车集团CEO迪斯博士表示:“大众汽车携手实力强劲、值得信赖的合作伙伴,进一步推动集团在中国的电动化战略。目前,电动汽车发展势头迅猛,也为江淮大众带来更多机遇。深入?

  • Serverless架构的前世今生

    一、Serverless简介云计算的不断发展,涌现出很多改变传统IT架构和运维方式的新技术,而以虚拟机、容器、微服务为代表的技术更是在各个层面不断提升云服务的技术能力,它们将应用和环境中很多通用能力变成了一种服务。但无论这些技术应用在哪里,帮助企业“降本增效”是技术变革永恒的主题。Serverless架构的出现,带来了跨越式的变革。Serverless下主机管理、操作系统管理、基础软件的部署运维、资源分配和扩缩容能力全部由云厂?

  • 华平投资支持的集团接近完成58同城私有化协议

    据彭博报道,华平投资支持的集团据悉接近完成将 58 同城私有化的协议,最早可能在本周达成协议, 58 同城估值超过 80 亿美元。

  • 和平精英SS8赛季手册寻宝行动全攻略 SS8赛季手册寻宝行动教程

    ​和平精英SS8赛季手册寻宝行动是新增的玩法,在其中可以获得非常多的奖励,但是一些玩家还不清楚怎么去玩寻宝行动,下面就来为大家分享一下和平精英SS8赛季手册寻宝行动全攻略。

  • 和平精英SS8赛季手册全部奖励汇总 SS8赛季手册皮肤奖励一览

    ​和平精英的SS8赛季手册马上就要上线了,很多玩家还不清楚此次S8的赛季手册有什么内容,所以今天就来为大家分享一下和平精英SS8赛季手册全部奖励汇总。

  • 雅居乐与京东签署合作协议资源共享 全面布局房产新零售

    进入 2020 年之后,受疫情影响,网络购物需求激增。除了以往的日用品、服饰等常见品类外,以线下销售作为主要阵地的地产行业也纷纷向线上布局。最近,雅居乐地产与自营电商平台京东正式签署战略合作协议,双方将开展跨界合作。雅居乐作为千亿房企之一,多年来一直紧跟时代的步伐、市场的变化,在雅居乐董事局主席陈卓林的带领下,逐步发展成为一家以地产为主、多元业务并行的综合性企业集团。近年来,为打破传统营销格局,雅居乐不

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议

热文

  • 3 天
  • 7天