首页 > 优化 > 关键词  > 网站优化最新资讯  > 正文

新手建站不可不知的robots.txt文件

2011-03-24 00:22 · 稿源:www.anhuiseo.org

robots.txt搜索引擎蜘蛛爬你站点的时候第一个查看的文件,这个文件是告诉搜索引擎的蜘蛛程序,你的站点上哪些文件给看,哪些不给看。现在主流的搜索引擎还是遵守这一规定,合肥SEO就有深刻体会,本站是20号晚上11点左右解禁robots.txt文件允许搜索引擎蜘蛛访问,21号早上一查百度居然收了,第二天谷歌也收了。

说远了,言归正传。robots.txt是一个文本文件,它必须命名为“robots.txt”并上传到站点根目录下,上传到子目录里是无效的,因为搜索引擎漫游器只会在你的域名根目录中查找这个文件。还是那句话,基础性知识合肥SEO没有实力也没必要在这浪费大家的时间,可以去百度搜索帮助中心和谷歌中文管理员博客看,在这是主要从SEO角度来介绍robots.txt在对网站优化过程中的作用。

一、利于网站优化的robots.txt使用技巧

1、在线建站提供方便之路。当我们将域名解析到服务器,可以访问站点了,可是这个时候站点还没有布局好,meta标签还一塌糊涂。乳沟此时的站点被搜索引擎蜘蛛抓取收录了,到时再更改就很不利于SEO优化。这时就可以利用robots.txt文件来设置所有搜索引擎蜘蛛不允许查询站点的所有内容。其语法格式为:

User-agent: *
Disallow: /

2、定制搜索引擎蜘蛛抓取指定内容,能让你根据站点情况来选择怎样和搜索引擎打交道。这里有两层意思。

(1)定制搜索引擎。如果你不屑度娘的所作所为的话,可以这样子让它只能对你吹胡子瞪眼。其语法格式为:

User-agent: baiduspider
Disallow: /

注:常见的搜索引擎机器人名称。

名称 搜索引擎
Baiduspider https://www.baidu.com
Scooter https://www.altavista.com
ia_archiver https://www.alexa.com
Googlebothttps://www.google.com
FAST-WebCrawler https://www.alltheweb.com
Slurp https://www.inktomi.com
MSNBOT https://search.msn.com

(2)定制站点内容。也就是说你可以指定某个目录允许spider爬行,某个目录禁止spider爬行。如所有搜索引擎蜘蛛,允许抓取目录abc下的内容,禁止抓取目录def下的内容,其语法格式为:

User-agent: *
Allow: /abc/
Disallow: /def/

3、引导搜索引擎抓取网站内容。这里最典型的做法有

(1)引导蜘蛛抓取你的网站地图。其语法格式为:

User-agent: *
sitemap:sitemap-url

(2)防止蜘蛛抓取你的网站重复内容。

4、404错误页面问题。如果你的服务器自定应了404错误页面而在你站点根目录没有配置robots.txt文件,那么搜索引擎蜘蛛会将其视为robots.txt文件,这将影响搜索引擎对你网站页面的收录。

二、特定程序建站robots.txt的写法。这里只是提供通用的,具体的情况自己斟酌哦。

1、DedeCMS建站的robots.txt文件写法

User-agent: *
Disallow: /plus/feedback_js.php
Disallow: /plus/feedback.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
Disallow: /member

2、WordPress建站的robots.txt文件写法

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: https://www.***.com/sitemap.xml

3、phpcms建站的robots.txt文件写法

User-agent: *
Disallow: /admin
Disallow: /data
Disallow: /templates
Disallow: /include
Disallow: /languages
Disallow: /api
Disallow: /fckeditor
Disallow: /install
Disallow: /count.php
Disallow: /comment
Disallow: /guestbook
Disallow: /announce
Disallow: /member
Disallow: /message
Disallow: /spider
Disallow: /yp
Disallow: /vote
Disallow: /video

4、discuz论坛的robots.txt文件写法

User-agent: *
Allow: /redirect.php
Allow: /viewthread.php
Allow: /forumdisplay.php
Disallow: /?
Disallow: /*.php

虽然话题很陈旧,可是需要学习的内容还是很多的。有人说设置robots.txt文件会带来被“有心人”攻击的危险,作为草根的前锋来说无所畏惧了,既然是“有心人”了你也没辙(这不只是建站程序本身,还有服务器安全等等等等)。来自合肥seo: https://www.anhuiseo.org 转载请注明出处。

  • 相关推荐
  • 大家在看
  • 谷歌:微软 Bing 搜索引擎上最热门的搜索词是「Google」

    据彭博社报道,该律师描述说,「Google」是迄今为止在必应上搜索最多的词。 谷歌正在用这个角度来证明其客户选择使用谷歌搜索而不是竞争对手,而不是因为它是其设备上的默认选项。

  • 放弃 Google 搜索引擎,Firefox 欲用必应替代?

    以「To organize the world's information and make it universally accessible and useful」(整合全球信息,供大众使用,使人人受益)为宗旨,背靠复杂的算法,借助准确的搜索结果为基石,Google 搜索引擎已成为全球最受欢迎和信任的搜索引擎,其比位于第二名 bing 足足高出近90% 的市场份额。

  • Google用首页涂鸦庆祝搜索引擎上线23周年

    Google周一用一个新的涂鸦来庆祝其23岁生日。这幅动画涂鸦的特点是一个分层的生日蛋糕,上面撒着彩虹糖霜,还有醒目的数字23。这个搜索巨头的名字也被糖霜覆盖,同时还有拟人动画效果,闪烁的绿色生日蜡烛取代了"Google"中的"L"。Google公司于1998年9月4日正式成立,由谢尔盖-布林和拉里-佩奇共同创立。1997年,当时还是斯坦福大学研究生的布林,负责带新生佩奇参观校园。第二年,这对好友在他们的宿舍里一起开发了Google的第一个?

  • 隐私搜索引擎DuckDuckGo宣称已达成负碳排放

    主打隐私体验的 DuckDuckGo 搜索引擎,刚刚宣布其在 2008 ~ 2020 年间实现了负碳排放,并承诺在未来几年内加大努力。该公司称,其正在使用黄金标准来抵消其 125% 的上下游排放量,同时希望为致力于发展除碳技术的 Stripe 气候计划提供等量的帮助。在确定需要抵消多少碳排放时,DuckDuckGo 援引了温室气体协议,将排放主要划分成三大范围与附加活动。其中该公司的“碳排抵消包”涵盖了直接排放、购买能源的间接排放、产品与服务器的

  • 微软必应和Yandex宣布为搜索引擎行业制定IndexNow快速通知协议

    微软必应和Yandex(俄罗斯最受欢迎的搜索引擎)今天宣布全新IndexNow协议,这是网站所有者通知搜索引擎其网站最新内容变化的一种新方式。网站所有者现在可以做一个简单的ping,让搜索引擎知道一个URL及其内容被添加、更新或删除,而不是等待搜索引擎发现内容已经改变。有了IndexNow,搜索引擎立即知道"已经改变的URL,帮助他们优先抓取这些URL,从而限制有机抓取以发现新内容"。另外,通过通知一个搜索引擎,就等于通知所有采用Ind

  • Chartbeat:本周Facebook宕机后 新闻网站的流量大幅增加

    据外媒报道,Chartbeat的一项新分析发现,当 Facebook 本周出现宕机时,新闻网站的流量增加了。2018年8月3日,Facebook宕机45分钟。与本周的故障相比,这只是一个小故障:10月4日,Facebook、Instagram和WhatsAppk曾宕机近6小时。三年前,Chartbeat的Josh Schwartz曾写道,45分钟的Facebook故障足以让人们去其他平台阅读新闻。那么这次发生了什么?根据Chartbeat本周提供的来自60个国家的数千家出版商客户的数据,在长达5个多小时?

  • AirTag“丢失模式”漏洞可以将用户重定向到恶意网站

    根据KrebsOnSecurity发布的新报告,AirTag的丢失功能,允许任何人用智能手机扫描丢失AirTag找到主人的联系信息,并且可以被滥用于网络钓鱼诈骗。

  • Dedecms系统网站如何免费一键转移,导入建站宝盒?

    「建站宝盒」作为国内知名的智能建站工具,发展至今15年了,作为老牌建站系统,一直不断迭代更新中,9月30日推出了「Dedecms网站免费一键转移的功能」 。据说在国庆假期期间,已经有十几个客户转移导入成功了,看到他们有一位客户在10月6日一次性导入了700多篇文章。有图有真相,看下图。从Dedecms网站之前发布的公告上可以看到,Dedecms产品截止到10月25日需要完成转移或取得相关授权,简单点说,也就是留给各位站长的时间不多了?

  • Prospero Markets浦华金融:新手如何进行投资?

    每当国际动荡或大危机爆发的时候,黄金走势会有一定的反复。去年 2 月以来,受到新冠肺炎疫情影响,全球金融市场出现大震荡,黄金作为投资者熟知的避险资产,其表现更引起市场广泛关注。经过此前的冲高回落后,黄金市场近期进入了振荡状态。在不少人看来,黄金是一个安全的避风港。作为一种典型的避险资产,在当金融市场集体下跌的时候,为什么黄金也出现了跟跌的走势?黄金涨跌背后的奥秘究竟是什么?参与黄金投资要避免踩到哪些?

  • AirTag“丢失模式”存安全漏洞:能引导用户跳转到恶意/钓鱼网站

    根据 KrebsOnSecurity 分享的一份最新安全报告,苹果允许任何智能手机用户扫描丢失的 AirTag 以定位所有者的联系信息,该功能可能被滥用于网络钓鱼诈骗。当一个 AirTag 被设置为丢失模式时,它会生成一个 URL“https://found.apple.com”,它让 AirTag 所有者输入联系电话或电子邮件地址。任何扫描该 AirTag 的人都会被自动引导到有主人联系信息的 URL,查看所提供的联系信息不需要登录或个人信息。据 KrebsOnSecurity 称,丢失模?

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天