首页 > 经验 > 关键词  > robots.txt写法最新资讯  > 正文

关于robots.txt无法禁止收录的小看法

2011-10-14 15:33 · 稿源:于申blog

在网站seo优化的过程中常常需要通过一个名为robots.txt的文件与搜索引擎蜘蛛对话。通常来讲,搜索引擎蜘蛛爬行到某一个网站就会首先读取该文件,并按照文件中的规则执行接下来的行为。

当一个网站中有一些网站不需要被搜索引擎收录时,往往就会通过robots.txt来限制搜索引擎蜘蛛对这个网页的抓取。比如说,当网站出现?replytocom重复收录,或者某些不需要被收录并分享权重的页面等等。从这个方面来讲,robots.txt约束了搜索引擎的行为。

而实际情况是,网站在robots.txt禁止了蜘蛛对某个类型url网页的收录,但在用搜索引擎高级命令site查询收录情况是发现,搜索引擎并没有遵从robots.txt中的规则。大部分时候,搜索引擎确实能按照网站robots.txt中所写的规则对这些网页不进行收录。但搜索引擎视robots.txt中的规则为无物的情况也是确实存在的。

当然,也有可能存在网站robots.txt写法出现错误的可能,但此文建立在正确撰写robots.txt的前提下。

有一个很官方的说法是这样的:网站robots.txt中对某个网页屏蔽了蜘蛛的收录,但搜索引擎还是会对该网页进行抓取,只不过在相关搜索结果中不会展现这些网页内容。

这句话咋一看有些令人费解,但据笔者的看法,还是很有可能的。

首先,搜索引擎的发展根本是向搜索用户展现用户所需要的、健康的、优质的内容。在收录并返回相关搜索结果之前,搜索引擎必然要对这些网站进行相应的了解,然后在权衡是否将其收录并给予如何的排名。

打个比方,如果要做一个非法的网站,先假设网站内容没有被监管部门查到,也不考虑以下这个方法的好坏与否。当然,如果直接采用相关的关键词做网站seo优化,在得到更高曝光率的同时也大大增加了被查封的可能性。更何况这些非法内容也不一定不会被搜索引擎屏蔽。

这时,通过大量的健康的内容做网站的seo排名。通过健康的关键词使网站获得大量流量,然后在这些健康的内容上带上非法信息的链接入口。当然,这样的链接必然要使用网站的robots.txt对搜索引擎蜘蛛进行屏蔽,同时将所有的非法内容页面也同样的禁止收录。

难道这样就能既通过搜索引擎谋利,又避开了搜索引擎的监管吗?其实不然,上文中说到搜索引擎为了良好的用户体验,必然会对已收录或者将要收录的网站进行全面的了解(不管现在搜索引擎做的是否完善)。

那好,既然搜索引擎要了解网站,又怎么能对robots.txt中屏蔽的页面视而不见呢?明着对着搜索引擎装纯洁,背地里暗暗的搞一些非法勾当。我想,这种情况搜索引擎不会不考虑到。所以了,即使你的网站robots.txt中明确的对某些页面禁止蜘蛛的爬行,但搜索引擎总还是要“检查”一下的。不然又怎么全面的了解网站的优劣呢?

好吧,要查看网页的情况当然先要抓取进入搜索引擎的服务器,再进行判断了。既然搜索引擎对网站robots.txt中屏蔽的页面还是进行了抓取并查看,那么,又要如何体现robots.txt的作用呢?

那只有将这些页面进行隐藏,至少不能在普通搜索结果中展现出来。不然,网站robots.txt岂不只成摆设?

所以,当发现搜索引擎依旧对网站robots.txt屏蔽的网页进行收录时不用过于紧张。搜索引擎只是想要充分的了解网站情况。但必须要确保robots.txt规则正确书写。一般情况,搜索引擎都会对禁止抓取的网页进行删除,或者说是“隐藏”的。

由于网站robots.txt屏蔽网页依旧收录的情况存在着较大的不确定因素,所以很遗憾笔者无法进行实际的实验对该情况进行检测。同时笔者自认为只是刚刚开始学习seo的菜鸟,所以笔者的观点并不一定正确无误。笔者衷心希望各位seo优化前辈、达人能给予指点和交流,谢谢。

除非特殊注明,本博客文章均为于申原创,版权归于申blog©所有。

本文链接地址: https://www.yushenblog.com/talk/509.html,转载请务必注明出处,谢谢。

  • 相关推荐
  • 大家在看
  • Twitter网页版将允许用户 “软屏蔽”粉丝

    据外媒The Verge报道,Twitter网页版正在推出一项新功能,让用户可以在不阻止粉丝的情况下删除他们,这一行动也被称为 “软屏蔽”。要“软屏蔽”一个粉丝,用户需进入个人资料的粉丝列表页面·,点击粉丝名字旁边的三点菜单,然后点击“删除粉丝”选项。 用户删除的粉丝将不会被通知这一变化。“软屏蔽”与屏蔽不同,因为它允许粉丝仍然看到用户的推文和发送私信,但用户发布的内容不会再自动出现在粉丝的消息流中。当用户删除一个

  • 谷歌:微软 Bing 搜索引擎上最热门的搜索词是「Google」

    据彭博社报道,该律师描述说,「Google」是迄今为止在必应上搜索最多的词。 谷歌正在用这个角度来证明其客户选择使用谷歌搜索而不是竞争对手,而不是因为它是其设备上的默认选项。

  • 养猫好物分享——Litter-Robot全自动猫砂盆

    现在养猫的年轻人越来越多了,作为猫猫爱好者的我终于也拥有了自己的主子,不过养起来好像确实没有想象中那么美好,尤其是每次还没来得及铲屎,客厅里弥漫着一股猫屎的“清香”的时候,总让我对我们家橘子又爱又恨。前段时间在网上看到有人安利这款Litter-Robot全自动猫砂盆,美国原装进口,真正做到全自动清洁。当天就迫不及待下单了一台,这段时间用下来,真的太好用了。【占地小,颜值高】整体是一个太空舱的造型,看起来非常高

  • 苹果在Twitter上再次为MacBook Pro发布会定制hashflag

    还和以往的苹果活动一样,即将于 10 月 18 日召开的“Unleashed”活动在 Twitter 上也有自己的 #AppleEvent“hashflag”。更新后的 hashflag 采用了从浅蓝到深蓝的过渡,这与活动邀请函的图案一致。苹果公司使用 hashflags 来提高活动的知名度,并在社交媒体网络上进行炒作。自去年年底以来,苹果一直在使用定制的Twitterhashflags,Agency Creative所做的研究表明,这些定制hashflags的成本可能高达100万美元。苹果的“Unleashed?

  • [图]Adobe发布Acrobat扩展程序:在浏览器上更好处理PDF文件

    网页浏览器中的原生默认 PDF 阅读器通常功能有限,只能让用户查看下载文件或者做一些简单的操作。当出现一些复杂的任务,如在 PDF 文件中进行编辑或评论时,就需要使用 Adobe Acrobat Reader 等专用软件。今天,Adobe 在 Chrome 和 Edge 浏览器上发布了 Acrobat 扩展程序,让用户直接通过浏览器访问其 PDF 工具。这些将让你在不切换应用程序的情况下填写、签署和标记文件。一旦下载了该扩展,就必须在浏览器的内容设置中把它设置为

  • Windows Subsystem for Linux现以应用形式上架Microsoft Store

    微软今天宣布 Windows Subsystem for Linux (WSL) 作为一款应用上架 Windows 11 端的 Microsoft Store。也就是说,现在 WSL 以应用的方式通过 Microsoft Store 进行分发,并不会跟随系统更迭进行更新,这样用户能更快地获取 WSL 更新和功能。更新日志WSL 应用现在整合了 WSLg(Windows Subsystem for Linux GUI)● 升级 Microsoft.WSLg 至 1.0.29 版本● 为 WSLg 切换到 msrdc.exe● 为 ARM64 启用 virtio,以启用 WSLg 共享内存?

  • Chrome 95 Beta发布:彻底删除废弃的FTP支持

    在 Chrome94稳定版本周发布之后,Chrome95今天也进入到 Beta 频道。在 Chrome95Beta 版本中提供了一些改进。感兴趣的用户可以通过 Chromium.org 博客了解更多关于 Chrome95Beta 版的细节。关于 Chrome95Beta 版变化的更多技术细节也可以通过 ChromeStatus.com 找到。

  • Rockstar宣布GTA经典重制

    Rockstar终于确认《Grand Theft Auto 3》、《Vice City》、《San Andreas》三部曲重制版将于年末登陆PC、PS、Xbox,以及Switch平台;iOS及安卓版安排在明年上半年。Rockstar表示这三部经典将迎来全面升级,除图像质量得以增强外,游戏元素也进行现代化翻新,同时保有原作经典式样及气息,具体细节将于未来数周公布。为迎接重制版新三部曲,Rockstar通知各平台从下周起不再销售老三部曲,已购买这些游戏的顾客仍可正常下载及运行。?

  • 放弃 Google 搜索引擎,Firefox 欲用必应替代?

    以「To organize the world's information and make it universally accessible and useful」(整合全球信息,供大众使用,使人人受益)为宗旨,背靠复杂的算法,借助准确的搜索结果为基石,Google 搜索引擎已成为全球最受欢迎和信任的搜索引擎,其比位于第二名 bing 足足高出近90% 的市场份额。

  • Ubuntu Touch OTA-19发布:仍基于Ubuntu 16.04 LTS

    本周二,UBports 发布了 Ubuntu Touch OTA-19 版本更新。这是一款适用于智能手机和平板的 Ubuntu Linux 发行版本。本次 OTA-19 更新依然基于过时的 Ubuntu 16.04 LTS 代码库,后续版本将会过渡到 Ubuntu 20.04 LTS。不过,Ubuntu Touch 团队仍然在努力,毕竟两个发行版本相隔 4 年时间,其中涉及到大量的基础变化。由于仍基于 Ubuntu 16.04 LTS,因此 OTA-19 的更新幅度并不大。Halium 5.1/7.1 设备现在兼容陀螺仪和磁场传感器,消

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天