首页 > 优化 > 关键词  > robots.txt最新资讯  > 正文

robots.txt的写法和利用百度站长平台工具自动生成

2012-09-13 10:07 · 稿源:445400.com

百度站长平台提供了一个很好的robots.txt自动生成工具,利用它我们可以很方便的写出robots.txt,通过robots.txt阻止搜索引擎收录你不想要被收录的页面及目录,还可以阻止及引导蜘蛛爬行更多的页面,减少蜘蛛的爬行量,提高蜘蛛的爬行效率,有效的提升更多的页面被收录。

前面我们介绍了通过IIS日志分析让你更好的了解网站运行情况,可以通过IIS日志查询到蜘蛛爬行中返回404状态的页面,这里我们可以用robots.txt禁止蜘蛛爬行。

百度站长平台注册及网站验证方法这里就不说了,下面讲讲Robots工具的使用方法:

通过上图可以看到,蜘蛛返回404状态的页面都是网站改版前使用的网址,现在都不存在了,但是搜索引擎数据库还保存有记录,所以每天蜘蛛还是会来抓取这个页面的数据的,还有的时候是蜘蛛顺着别的网站上面留下的外链爬过来的。

下面我们演示怎样将通过光年SEO日志分析软件生成的日志报告中显示的404状态不存在的页面都屏蔽掉,不让蜘蛛抓取。

首先登陆百度站长平台,点击左边菜单的“Robots工具”进入Robots自动生成界面。

然后将上图中404状态的页面路径整理后复制到Robots工具输入框中。

User-agent底下选择“所有”,状态选择“不允许抓取”,输入路径后点击后面的“创建”,上图我们测试了两个路径,分别是目录和一个文件,可以一下子输入多个路径,建议先在记事本里面将网址整理好再提交,一行一个路径。

点击“创建”以后,可以看到,底下的robots.txt内容中出现的代码,而且百度站长平台Robots工具有一个好处就是,不论你是多层目录还是网站单文件页面,它都自动识别后排序生成,不会造成单页面和目录顺序错乱造成蜘蛛抓取robots.txt的时候出现错误,所以我们大不必担心格式问题了。

将所有需要屏蔽的页面或路径都生成以后,点击底下的“下载”,然后将robots.txt上传到网站根目录就可以了。

小提示:robots.txt上传以后,我们可以通过robots检测工具来实验一下robots.txt是否有效或者有什么错误,CHINAZ、SEOWHY、爱站等网站都有相关工具的。

建议用一个记事本收集404状态页面,然后整理存档,每次发现IIS日志中有新的404页面出现,就在以前的存档里面查找一下是否有重复,没有重复就可以直接添加到robots.txt文件中了。

本文由利川在线https://www.445400.com原创,转载请注明出处。

  • 相关推荐
  • 大家在看
  • Facebook正持续研究BOLT'ing以提高Linux内核执行性能

    几年来,Facebook的工程师们一直在研究BOLT,作为一种加速Linux/ELF二进制文件运行的方法。这个"二进制优化和布局工具"能够在分析后重新排列可执行文件,以产生比编译器的LTO和PGO优化所能达到的更好的性能,BOLT的最新工作之一是优化Linux内核。与允许对Linux内核进行轮廓引导优化(PGO)的挑战类似,BOLTing Linux内核也面临着类似的复杂障碍,这些障碍围绕着对内核的相关工作负载进行适当的轮廓分析/取样优化、内核的庞大代码库

  • 养猫好物分享——Litter-Robot全自动猫砂盆

    现在养猫的年轻人越来越多了,作为猫猫爱好者的我终于也拥有了自己的主子,不过养起来好像确实没有想象中那么美好,尤其是每次还没来得及铲屎,客厅里弥漫着一股猫屎的“清香”的时候,总让我对我们家橘子又爱又恨。前段时间在网上看到有人安利这款Litter-Robot全自动猫砂盆,美国原装进口,真正做到全自动清洁。当天就迫不及待下单了一台,这段时间用下来,真的太好用了。【占地小,颜值高】整体是一个太空舱的造型,看起来非常高

  • 欧易NFT市场即将上线3D NFT项目Tron Meebits

    像素肖像游戏 CryptoPunks 是网络上最受欢迎的 NFT 项目之一,仅次于区块链游戏Axie Infinity、NBA球员卡收藏品NBA Top Shot,其创作团队 Larva Labs 已净赚了超 6.5 亿美元。Meebits 是Larva Labs团队重要项目之一,其拥有20,000 个程序生成的3D 字符,可以在以太坊上交易。继Meebits之后,波场链上即将发行第一个3D Avatar NFT项目 Tronmeebits,并上线欧易NFT市场。售卖方式为欧易NFT一级市场抢购,最大购买数量1 00 张,抢购?

  • 苹果在Twitter上再次为MacBook Pro发布会定制hashflag

    还和以往的苹果活动一样,即将于 10 月 18 日召开的“Unleashed”活动在 Twitter 上也有自己的 #AppleEvent“hashflag”。更新后的 hashflag 采用了从浅蓝到深蓝的过渡,这与活动邀请函的图案一致。苹果公司使用 hashflags 来提高活动的知名度,并在社交媒体网络上进行炒作。自去年年底以来,苹果一直在使用定制的Twitterhashflags,Agency Creative所做的研究表明,这些定制hashflags的成本可能高达100万美元。苹果的“Unleashed?

  • 特斯拉再次提高Model 3/Y在美价格  Cybertruck成最便宜车型

    据国外媒体报道,特斯拉再次提高了Model 3和Model Y电动汽车的在美价格,这使得Cybertruck电动皮卡成为该公司最便宜的产品。

  • Windows Subsystem for Linux现以应用形式上架Microsoft Store

    微软今天宣布 Windows Subsystem for Linux (WSL) 作为一款应用上架 Windows 11 端的 Microsoft Store。也就是说,现在 WSL 以应用的方式通过 Microsoft Store 进行分发,并不会跟随系统更迭进行更新,这样用户能更快地获取 WSL 更新和功能。更新日志WSL 应用现在整合了 WSLg(Windows Subsystem for Linux GUI)● 升级 Microsoft.WSLg 至 1.0.29 版本● 为 WSLg 切换到 msrdc.exe● 为 ARM64 启用 virtio,以启用 WSLg 共享内存?

  • Chrome 95 Beta发布:彻底删除废弃的FTP支持

    在 Chrome94稳定版本周发布之后,Chrome95今天也进入到 Beta 频道。在 Chrome95Beta 版本中提供了一些改进。感兴趣的用户可以通过 Chromium.org 博客了解更多关于 Chrome95Beta 版的细节。关于 Chrome95Beta 版变化的更多技术细节也可以通过 ChromeStatus.com 找到。

  • Rockstar宣布GTA经典重制

    Rockstar终于确认《Grand Theft Auto 3》、《Vice City》、《San Andreas》三部曲重制版将于年末登陆PC、PS、Xbox,以及Switch平台;iOS及安卓版安排在明年上半年。Rockstar表示这三部经典将迎来全面升级,除图像质量得以增强外,游戏元素也进行现代化翻新,同时保有原作经典式样及气息,具体细节将于未来数周公布。为迎接重制版新三部曲,Rockstar通知各平台从下周起不再销售老三部曲,已购买这些游戏的顾客仍可正常下载及运行。?

  • Ubuntu Touch OTA-19发布:仍基于Ubuntu 16.04 LTS

    本周二,UBports 发布了 Ubuntu Touch OTA-19 版本更新。这是一款适用于智能手机和平板的 Ubuntu Linux 发行版本。本次 OTA-19 更新依然基于过时的 Ubuntu 16.04 LTS 代码库,后续版本将会过渡到 Ubuntu 20.04 LTS。不过,Ubuntu Touch 团队仍然在努力,毕竟两个发行版本相隔 4 年时间,其中涉及到大量的基础变化。由于仍基于 Ubuntu 16.04 LTS,因此 OTA-19 的更新幅度并不大。Halium 5.1/7.1 设备现在兼容陀螺仪和磁场传感器,消

  • Robotanv为任天堂Switch Lite加装Qi无线充电板:低成本、超简单

    本周早些时候,Robotanv 在油管上分享了对任天堂 Switch Lite 的 Qi 无线充电改造。只要有一定的电路基础知识和动手能力,你也可以用电烙铁 + 螺丝刀来尝试一下。首先,Switch Lite 的外壳相对容易打开。继续深入的话,你只需将无线充电适配器与电池组件连接到一起。当然,在动手之前,还请注意相关操作会影响 Switch Lite 的官方质保,即使你的手法很是干脆清爽。从技术上来讲,实际操作还是有一丢丢复杂,因为 USB-C 充电板配件?

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天