首页 > 优化 > 关键词  > 搜索机器人最新资讯  > 正文

解读SEO中旧瓶装新酒的robots.txt

2011-06-02 11:52 · 稿源:liyi-tech.com

我们知道,搜索引擎都有自己的“搜索机器人”(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库。作为站长为了避免部分网页被索引导致的权重流失,我们提供了robots来很好的解决这个困扰,做到了“旧瓶装新酒”,让你的站在搜索引擎中有良好的表现。

我们来看宜昌SEO的robots.txt :www.seo86.net/robots.txt,这样做的目的是让搜索引擎觉得我们的网站更规范权威。接下来我们说一下robots权重方面的“旧瓶装新酒”

旧瓶装新酒一:用robots屏蔽内容相似或没有内容的页面

我们知道搜索搜索引擎收录后有一个判断审核的过程,当出现相似度高的页面会删除其中的一个,那么robots会帮到这个忙。比如我https://www.***.net/wangluo/?p=321和https://www.***.net/123内容差不多,那么我们可以把第一个屏蔽掉。屏蔽代码:Disallow:/wangluo/?p=

这样子就可以很好的减少重复页面,对搜索引擎留下良好的影响。

旧瓶装新酒二:用robots.txt屏蔽掉多余的链接,当我们出现动态、静态同是都可以访问的情况,我们可以去掉动态的。

我们,发现很多网站会有多个链接指向同一个页面,这中现象的普片存在,会让搜索引擎对网站的权威性产生疑问,可以通过robots把不重要的链接去掉

比如:www.***.net/?P=123和www.***.net/123,那么我们可以用Disallow:/?p=屏蔽掉

旧瓶装新酒三:铲除死链接

死链接就是原来存在,后来因为改版或者更新的原因删除了链接和网页

比如原来某个目录(假设是/tempweb/)下面的所有链接,因为改版的原因这个目录下面的变成了死链接,那么可以这样子来屏蔽他。代码为:Disallow:/tempweb/

旧瓶装新酒四:被k的链接处理

我们做网站优化的知道,很多关键字排名下降的问题,很可能是被k的外部链接导致的,所以我们可以把所有的外部链接统一放在一个链接目录下面,然后用robots统一屏蔽,比如https://www.***.net/sns/web-link这个上面的所有链接都https://www.***.net/sns/link.php?下面我们采取的屏蔽代码Disallow:/link.php?

如果您对robots的具体操作不是很清楚,可以在百度官方提供的robots.txt指南学习https://www.baidu.com/search/robots.html同时希望大家灵活运用,将robots的功能发挥到极致,相信你的排名也会稳如泰山。若您在robots方面还有其他的疑问可以加QQ1256271624大家一起探讨。

文章作者:宜昌SEO

本文地址:https://www.seo86.net/258/

版权所有 © 转载时必须以链接形式注明作者和原始出处!

  • 相关推荐
  • 大家在看
  • Facebook Connectivity推出可加速光纤部署的机器人

    为了实现“帮助十亿人用上更快的互联网”的目标,Facebook Connectivity 正在积极开发各种新技术,其中就包括了一款名叫 Bombyx 的机器人。据悉,Bombyx 能够在通常需要耗费较多时间的场景下,更快地完成光缆的安装部署。此外还有一项名叫 Terragraph 的无线技术,以满足光缆难以抵达的“最后一英里”的客户需求。早些时候,Facebook 介绍了名为2Africa Pearls 的新海底光缆项目,旨在更好地连接欧亚非地区的互联网。Facebook 首席

  • 养猫好物分享——Litter-Robot全自动猫砂盆

    现在养猫的年轻人越来越多了,作为猫猫爱好者的我终于也拥有了自己的主子,不过养起来好像确实没有想象中那么美好,尤其是每次还没来得及铲屎,客厅里弥漫着一股猫屎的“清香”的时候,总让我对我们家橘子又爱又恨。前段时间在网上看到有人安利这款Litter-Robot全自动猫砂盆,美国原装进口,真正做到全自动清洁。当天就迫不及待下单了一台,这段时间用下来,真的太好用了。【占地小,颜值高】整体是一个太空舱的造型,看起来非常高

  • 欧易NFT市场即将上线3D NFT项目Tron Meebits

    像素肖像游戏 CryptoPunks 是网络上最受欢迎的 NFT 项目之一,仅次于区块链游戏Axie Infinity、NBA球员卡收藏品NBA Top Shot,其创作团队 Larva Labs 已净赚了超 6.5 亿美元。Meebits 是Larva Labs团队重要项目之一,其拥有20,000 个程序生成的3D 字符,可以在以太坊上交易。继Meebits之后,波场链上即将发行第一个3D Avatar NFT项目 Tronmeebits,并上线欧易NFT市场。售卖方式为欧易NFT一级市场抢购,最大购买数量1 00 张,抢购?

  • 苹果在Twitter上再次为MacBook Pro发布会定制hashflag

    还和以往的苹果活动一样,即将于 10 月 18 日召开的“Unleashed”活动在 Twitter 上也有自己的 #AppleEvent“hashflag”。更新后的 hashflag 采用了从浅蓝到深蓝的过渡,这与活动邀请函的图案一致。苹果公司使用 hashflags 来提高活动的知名度,并在社交媒体网络上进行炒作。自去年年底以来,苹果一直在使用定制的Twitterhashflags,Agency Creative所做的研究表明,这些定制hashflags的成本可能高达100万美元。苹果的“Unleashed?

  • Windows Subsystem for Linux现以应用形式上架Microsoft Store

    微软今天宣布 Windows Subsystem for Linux (WSL) 作为一款应用上架 Windows 11 端的 Microsoft Store。也就是说,现在 WSL 以应用的方式通过 Microsoft Store 进行分发,并不会跟随系统更迭进行更新,这样用户能更快地获取 WSL 更新和功能。更新日志WSL 应用现在整合了 WSLg(Windows Subsystem for Linux GUI)● 升级 Microsoft.WSLg 至 1.0.29 版本● 为 WSLg 切换到 msrdc.exe● 为 ARM64 启用 virtio,以启用 WSLg 共享内存?

  • Chrome 95 Beta发布:彻底删除废弃的FTP支持

    在 Chrome94稳定版本周发布之后,Chrome95今天也进入到 Beta 频道。在 Chrome95Beta 版本中提供了一些改进。感兴趣的用户可以通过 Chromium.org 博客了解更多关于 Chrome95Beta 版的细节。关于 Chrome95Beta 版变化的更多技术细节也可以通过 ChromeStatus.com 找到。

  • Rockstar宣布GTA经典重制

    Rockstar终于确认《Grand Theft Auto 3》、《Vice City》、《San Andreas》三部曲重制版将于年末登陆PC、PS、Xbox,以及Switch平台;iOS及安卓版安排在明年上半年。Rockstar表示这三部经典将迎来全面升级,除图像质量得以增强外,游戏元素也进行现代化翻新,同时保有原作经典式样及气息,具体细节将于未来数周公布。为迎接重制版新三部曲,Rockstar通知各平台从下周起不再销售老三部曲,已购买这些游戏的顾客仍可正常下载及运行。?

  • Ubuntu Touch OTA-19发布:仍基于Ubuntu 16.04 LTS

    本周二,UBports 发布了 Ubuntu Touch OTA-19 版本更新。这是一款适用于智能手机和平板的 Ubuntu Linux 发行版本。本次 OTA-19 更新依然基于过时的 Ubuntu 16.04 LTS 代码库,后续版本将会过渡到 Ubuntu 20.04 LTS。不过,Ubuntu Touch 团队仍然在努力,毕竟两个发行版本相隔 4 年时间,其中涉及到大量的基础变化。由于仍基于 Ubuntu 16.04 LTS,因此 OTA-19 的更新幅度并不大。Halium 5.1/7.1 设备现在兼容陀螺仪和磁场传感器,消

  • Twitter网页版将允许用户 “软屏蔽”粉丝

    据外媒The Verge报道,Twitter网页版正在推出一项新功能,让用户可以在不阻止粉丝的情况下删除他们,这一行动也被称为 “软屏蔽”。要“软屏蔽”一个粉丝,用户需进入个人资料的粉丝列表页面·,点击粉丝名字旁边的三点菜单,然后点击“删除粉丝”选项。 用户删除的粉丝将不会被通知这一变化。“软屏蔽”与屏蔽不同,因为它允许粉丝仍然看到用户的推文和发送私信,但用户发布的内容不会再自动出现在粉丝的消息流中。当用户删除一个

  • 树莓派展示Build HAT新配件 可轻松编程控制乐高机器人

    树莓派正在推出一款名叫 Build HAT 的新配件,以便用户通过旗下各款低成本的微型计算机,来控制某些乐高机器人的电机和传感器。通过将该组件接入 GPIO 引脚,它可延伸出四个端口。此外树莓派提供了配套软件,可连接到使用 LPF2连接器的大多数部件,包括乐高“心灵风暴”机器人发明家套件中的组件。配套的 Python 库,基本上融合了一组可用于控制机器人的命令,以便用户编写相关软件来连接乐高的 SPIKE 组件。后者带有一套集线器,?

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天