首页 > 优化 > 关键词  > 网站优化最新资讯  > 正文

网站优化跟踪 细看robots.txt规则的实际效果

2011-10-28 16:14 · 稿源:budeyan.com

10月20日,我对博客进行了大规模调整,就如同对待亟待成长的树一般修枝剪叶,以期能有较好的成长趋势。其中robots.txt被我充分的利用起来。

如今一个工作周即将过去,robots.txt文件规则是否正确,是否已经生效?百度谷歌等搜素引擎是否响应了robots.txt规则进行索引调整?作为站长我需要深入研究一番,以便动态掌握博客收录状态。

经调查发现,谷歌对robots.txt反应比较迅速,第三天在网站管理工具里找到了迹象。百度表现不尽如人意,说百度不认robots.txt规则那是瞎扯,但反应周期如此之长,难免会留下反应慢不作为的猜疑。

看谷歌对robots.txt规则之反应

在20日做的调整中,有两条规则我后来做了删除。打开我博客的robots.txt,和20日进行调整写下的对比,可知其中变化。

作此调整的原因在于,如按照20日的写法,第二天我发现,网站管理员工具Sitemaps里三个被选中的地址前出现了叉号——被robots.txt文件规则给阻止了——这个没必要嘛。当时的截图找不到了,下面三个选中的可以看一下:

提交的sitemap网站地图

响应robots.txt规则,谷歌停止了2000 多个连接地址的抓取。那500多个找不到地址,是因为前段时间删除文章标签tags后遗症。下面是截图:

2000多个连接地址被robots.txt规则限制

翻遍每一页,没有发现问题——除了一些/?p=的短连接让人心疼外,一切完美无暇。严格来说,应该是robots.txt规则不存在问题,谷歌不折不扣的执行了robots.txt规则。

谷歌查询“site:***.com inurl:?p” 仅找到残缺的14条(无标题或摘要)。不久的将来这些地址将被清除。

看百度对robots.txt规则之反应

20日就有robots.txt文件规则了,这是什么情况?

规则20日制定,上面这图不知是穿越了,还是我眼花了?我查过IIS日志记录,百度20日后曾多次下载robot.txt文件,服务器返回的是200成功状态码。

难怪百度不招各位站长待见。

百度“亲爱的站长,我是你爹”高高在上的态度,是否应该转变一下了?

原文地址:不得言博客

  • 相关推荐
  • 大家在看
  • 养猫好物分享——Litter-Robot全自动猫砂盆

    现在养猫的年轻人越来越多了,作为猫猫爱好者的我终于也拥有了自己的主子,不过养起来好像确实没有想象中那么美好,尤其是每次还没来得及铲屎,客厅里弥漫着一股猫屎的“清香”的时候,总让我对我们家橘子又爱又恨。前段时间在网上看到有人安利这款Litter-Robot全自动猫砂盆,美国原装进口,真正做到全自动清洁。当天就迫不及待下单了一台,这段时间用下来,真的太好用了。【占地小,颜值高】整体是一个太空舱的造型,看起来非常高

  • 苹果在Twitter上再次为MacBook Pro发布会定制hashflag

    还和以往的苹果活动一样,即将于 10 月 18 日召开的“Unleashed”活动在 Twitter 上也有自己的 #AppleEvent“hashflag”。更新后的 hashflag 采用了从浅蓝到深蓝的过渡,这与活动邀请函的图案一致。苹果公司使用 hashflags 来提高活动的知名度,并在社交媒体网络上进行炒作。自去年年底以来,苹果一直在使用定制的Twitterhashflags,Agency Creative所做的研究表明,这些定制hashflags的成本可能高达100万美元。苹果的“Unleashed?

  • Windows Subsystem for Linux现以应用形式上架Microsoft Store

    微软今天宣布 Windows Subsystem for Linux (WSL) 作为一款应用上架 Windows 11 端的 Microsoft Store。也就是说,现在 WSL 以应用的方式通过 Microsoft Store 进行分发,并不会跟随系统更迭进行更新,这样用户能更快地获取 WSL 更新和功能。更新日志WSL 应用现在整合了 WSLg(Windows Subsystem for Linux GUI)● 升级 Microsoft.WSLg 至 1.0.29 版本● 为 WSLg 切换到 msrdc.exe● 为 ARM64 启用 virtio,以启用 WSLg 共享内存?

  • Chrome 95 Beta发布:彻底删除废弃的FTP支持

    在 Chrome94稳定版本周发布之后,Chrome95今天也进入到 Beta 频道。在 Chrome95Beta 版本中提供了一些改进。感兴趣的用户可以通过 Chromium.org 博客了解更多关于 Chrome95Beta 版的细节。关于 Chrome95Beta 版变化的更多技术细节也可以通过 ChromeStatus.com 找到。

  • Rockstar宣布GTA经典重制

    Rockstar终于确认《Grand Theft Auto 3》、《Vice City》、《San Andreas》三部曲重制版将于年末登陆PC、PS、Xbox,以及Switch平台;iOS及安卓版安排在明年上半年。Rockstar表示这三部经典将迎来全面升级,除图像质量得以增强外,游戏元素也进行现代化翻新,同时保有原作经典式样及气息,具体细节将于未来数周公布。为迎接重制版新三部曲,Rockstar通知各平台从下周起不再销售老三部曲,已购买这些游戏的顾客仍可正常下载及运行。?

  • Chartbeat:本周Facebook宕机后 新闻网站的流量大幅增加

    据外媒报道,Chartbeat的一项新分析发现,当 Facebook 本周出现宕机时,新闻网站的流量增加了。2018年8月3日,Facebook宕机45分钟。与本周的故障相比,这只是一个小故障:10月4日,Facebook、Instagram和WhatsAppk曾宕机近6小时。三年前,Chartbeat的Josh Schwartz曾写道,45分钟的Facebook故障足以让人们去其他平台阅读新闻。那么这次发生了什么?根据Chartbeat本周提供的来自60个国家的数千家出版商客户的数据,在长达5个多小时?

  • Ubuntu Touch OTA-19发布:仍基于Ubuntu 16.04 LTS

    本周二,UBports 发布了 Ubuntu Touch OTA-19 版本更新。这是一款适用于智能手机和平板的 Ubuntu Linux 发行版本。本次 OTA-19 更新依然基于过时的 Ubuntu 16.04 LTS 代码库,后续版本将会过渡到 Ubuntu 20.04 LTS。不过,Ubuntu Touch 团队仍然在努力,毕竟两个发行版本相隔 4 年时间,其中涉及到大量的基础变化。由于仍基于 Ubuntu 16.04 LTS,因此 OTA-19 的更新幅度并不大。Halium 5.1/7.1 设备现在兼容陀螺仪和磁场传感器,消

  • Robotanv为任天堂Switch Lite加装Qi无线充电板:低成本、超简单

    本周早些时候,Robotanv 在油管上分享了对任天堂 Switch Lite 的 Qi 无线充电改造。只要有一定的电路基础知识和动手能力,你也可以用电烙铁 + 螺丝刀来尝试一下。首先,Switch Lite 的外壳相对容易打开。继续深入的话,你只需将无线充电适配器与电池组件连接到一起。当然,在动手之前,还请注意相关操作会影响 Switch Lite 的官方质保,即使你的手法很是干脆清爽。从技术上来讲,实际操作还是有一丢丢复杂,因为 USB-C 充电板配件?

  • Sysinternals系统工具套件现已能够通过Microsoft Store下载获取

    Sysinternals Suite 整合了许多 Windows 实用程序,其中包括进程资源管理器(Process Explorer)、进程监视器(Process Monitor)、系统监测(Sysmon)、自动运行(Autoruns)、进程转储(ProcDump)等。现在,该流行的系统工具套件,已能够通过 Microsoft Store 应用商店轻松下载获取。Sysinternals Suite 系统工具套件的完整内容如下:AccessChk、AccessEnum、ADExplorer、ADInsight、ADRestore、Autologon、Autoruns、BGInfo、C

  • Facebook宕机:Twitter、TikTok意外涌入“社交络难民”而陷入困境

    大多数人已经知道了Facebook、Instagram和WhatsApp长达7个多小时的大宕机多么令人难堪,但是更令人惊讶的是,这次故障对互联网,特别是社交网络同行也产生了明显的连锁反应。事实上,许多其他社交媒体网站在Facebook和Instagram用户涌向其他服务的压力下摇摇欲坠。这也不仅仅局限于一两个社交媒体网站在挣扎。相反,大多数值得注意的社交媒体网站和通信服务目前都出现了问题,无论是Twitter、TikTok、Snapchat、Signal,还是Telegr

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天