首页 > 优化 > 关键词  > 网站优化最新资讯  > 正文

浅谈Robots.txt 文件给我们网站带来的好处

2011-04-26 16:19 · 稿源:徐州才好网

作为一名网站优化人员,我们都很清楚Robots.txt文件对我们网站的重要性,Robots.txt文件只一个纯文本文件,它就像网站地图一样,给搜索引擎指明道路,当蜘蛛搜索一个站点时,它首先爬行来检查该网站的根目录下是否存在Robots.txt文件。

如果存在的话,搜索引擎会按照该文件的内容来确定访问范围,如果该文件不存在的话,那么搜索引擎就会沿着链接来抓取。那么程序员在设置Robots.txt文件时候应该了解到这个文件给我们网站带来了哪些好处?

第一,Robots.txt文件大大节省服务器宽带

我们都知道像email retrievers、image strippers这类搜索引擎都耗用大量宽带,而且对网站没有什么太大的意义,而通过Robots.txt就可以制止不必要的爬行工作,如果你的网站是图片站的话,没有设置好Robots.txt文件的话,就会浪费大量的服务器宽带。

第二、方便搜索引擎爬起工作

如果你的网站内容丰富,页面很多,设置Robots.txt文件更为重要,比如你有个网站,整个站有50多个G,打开页面可能会比较慢,如果不配置好Robots.txt文件的话,蜘蛛爬行工作就会很费力,而且如果太多的蜘蛛爬行,以至会影响你网站的正常访问。

第三、robots.txt文件可以制止搜索引擎索引页面

你可以通过RobotS.txt文件对你的网站非公开页面进行制止蜘蛛爬行,如果你的网站后台程序、管理程序很重要不想让别人看到、那么你可以通过Robots.txt进行设置,事实上,对于某些在运行中产生临时页面的网站来说,如果没有配置Robots.txt文件的话,搜索引擎甚至会索引那些临时文件。

第四、robots.txt对网站地图链接重要性

如果我们把自己的网站地图链接放在robots.txt文件里,那么我们每天就不用到各个搜索引擎的站长工具或者相似的站长部分去提交自己的sitemap文件,各大搜索引擎都发布了对网站地图的新的支持方式,就是在robots.txt文件里直接包括sitemap文件的链接。目前对此表示支持的搜索引擎公司有Google,Yahoo,而中文搜索引擎公司,显然不在这个圈子内。

这样做的好处就是我们可以不用每天去各大搜索引擎去提交自己的sitemap文件,可以减少我们的一部分工作量,何乐而不为呢?

转载时注:本文章来源徐州招聘www.caihao.com/。

  • 相关推荐
  • 大家在看
  • 谷歌:微软 Bing 搜索引擎上最热门的搜索词是「Google」

    据彭博社报道,该律师描述说,「Google」是迄今为止在必应上搜索最多的词。 谷歌正在用这个角度来证明其客户选择使用谷歌搜索而不是竞争对手,而不是因为它是其设备上的默认选项。

  • 放弃 Google 搜索引擎,Firefox 欲用必应替代?

    以「To organize the world's information and make it universally accessible and useful」(整合全球信息,供大众使用,使人人受益)为宗旨,背靠复杂的算法,借助准确的搜索结果为基石,Google 搜索引擎已成为全球最受欢迎和信任的搜索引擎,其比位于第二名 bing 足足高出近90% 的市场份额。

  • Google用首页涂鸦庆祝搜索引擎上线23周年

    Google周一用一个新的涂鸦来庆祝其23岁生日。这幅动画涂鸦的特点是一个分层的生日蛋糕,上面撒着彩虹糖霜,还有醒目的数字23。这个搜索巨头的名字也被糖霜覆盖,同时还有拟人动画效果,闪烁的绿色生日蜡烛取代了"Google"中的"L"。Google公司于1998年9月4日正式成立,由谢尔盖-布林和拉里-佩奇共同创立。1997年,当时还是斯坦福大学研究生的布林,负责带新生佩奇参观校园。第二年,这对好友在他们的宿舍里一起开发了Google的第一个?

  • 隐私搜索引擎DuckDuckGo宣称已达成负碳排放

    主打隐私体验的 DuckDuckGo 搜索引擎,刚刚宣布其在 2008 ~ 2020 年间实现了负碳排放,并承诺在未来几年内加大努力。该公司称,其正在使用黄金标准来抵消其 125% 的上下游排放量,同时希望为致力于发展除碳技术的 Stripe 气候计划提供等量的帮助。在确定需要抵消多少碳排放时,DuckDuckGo 援引了温室气体协议,将排放主要划分成三大范围与附加活动。其中该公司的“碳排抵消包”涵盖了直接排放、购买能源的间接排放、产品与服务器的

  • 微信小程序搜索优化调整 通过搜索爬虫SEO获取流量将有所下滑

    近日,微信团队团队发布了小程序搜索优化调整(SEO)公告。<br/> <br/> 公告称,微信新版本中,通过 “首页-下拉-搜索小程序”、“发现-小程序-搜索小程序”等小程序的搜索入口将不再展示小程序页面的内容结果。开发者通过搜索爬虫 SEO 获取到的流量将有所下滑。

  • Z周刊 | 小程序搜索优化调整/抖音双11大促规则/淘宝联盟升级结算方式

    这是站长之家Z周刊发布的最新一期内容,主要帮助大家了解最近抖音、快手、视频号等短视频&直播平台,以及电商等行业的最新动向,挖掘有价值的信息。

  • Safari 15.1 Beta发布:修复BUG和优化性能为主

    在 macOS Monterey 今年秋季正式发布之前,本周苹果面向 macOS Big Sur 和 macOS Catalina 发布了 Safari 15.1 的 beta 版本。目前尚不清楚 Safari 15.1 beta 具体引入了哪些新内容,官方的更新日志和此前的 Safari 15 基本相同。鉴于是维护版本更新,推测 Safari 15.1 beta 应该是修复 BUG 和优化性能为主。值得注意的是,例如内置翻译器等部分 Safari 15 功能需要 macOS Monterey,因此在 macOS Big Sur 和 macOS Catalina 上无?

  • Chartbeat:本周Facebook宕机后 新闻网站的流量大幅增加

    据外媒报道,Chartbeat的一项新分析发现,当 Facebook 本周出现宕机时,新闻网站的流量增加了。2018年8月3日,Facebook宕机45分钟。与本周的故障相比,这只是一个小故障:10月4日,Facebook、Instagram和WhatsAppk曾宕机近6小时。三年前,Chartbeat的Josh Schwartz曾写道,45分钟的Facebook故障足以让人们去其他平台阅读新闻。那么这次发生了什么?根据Chartbeat本周提供的来自60个国家的数千家出版商客户的数据,在长达5个多小时?

  • [图]Adobe发布Acrobat扩展程序:在浏览器上更好处理PDF文件

    网页浏览器中的原生默认 PDF 阅读器通常功能有限,只能让用户查看下载文件或者做一些简单的操作。当出现一些复杂的任务,如在 PDF 文件中进行编辑或评论时,就需要使用 Adobe Acrobat Reader 等专用软件。今天,Adobe 在 Chrome 和 Edge 浏览器上发布了 Acrobat 扩展程序,让用户直接通过浏览器访问其 PDF 工具。这些将让你在不切换应用程序的情况下填写、签署和标记文件。一旦下载了该扩展,就必须在浏览器的内容设置中把它设置为

  • 谷歌搜索加入「Google tuner」吉他调音器功能

    要访问本周增加的这一功能,只需在谷歌搜索「Google tuner」即可。谷歌吉他调音器界面与现有的几十个吉他调音应用程序相似。你在吉他上弹奏一根弦,谷歌将检测你的目标音符,并根据需要告诉你「调高」或「调低」。

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天