首页 > 优化 > 关键词  > 正文

网站改版要善用robots和404错误页面

2011-06-25 09:40 · 稿源:www.21rip.info

在讲解这个话题之前,先说一说404错误页面是怎么产生的?当网站改版和调整,移动或者删除了以前的网站目录和网页,而用户和搜索引擎蜘蛛再次访问这些网页路径,会发现这些页面不存在,这就是常说的错误页面。如果你的网站正确设置了404错误页面,查看服务器日志会发现404状态码。原网站页面大量移除,这样的行为对于访客和搜索引擎都是非常不友好的,被收录到搜索引擎数据库中的页面如果大量消失,非常有可能触发沙盒和降权现象。

但在实际过程中,为了网站的长远发展,网站调整和改版都是很难避免的。最近买了一个老域名来建一个护肤品网站,第二天查看IIS日志发现蜘蛛每天大量抓取原网站的页面,但是那些页面和目录都不存在了,为了避免域名被打入沙盒和降权,建议有条件的朋友对错误目录和页面进行301永久重定向,而我是采取了404错误页面的方法来降低对新网站带来的影响:

一、制作404错误提示页

制作404页面在醒目位置要明确注明“访问的页面已经不存在,您可以返回×××网站首页进行浏览你所需要的内容”,并在这段说明中加入首页地址链接来引导用户,一方面可以降低用户流失,另一方面可以和搜索引擎蜘蛛对话,告诉蜘蛛这是一个错误的的地址。许多朋友将404错误页面跳转到首页,二老猫认为这是存在风险不可取的,会被搜索引擎误认为做弊导致首页降权。

二、404错误页的测试

页面制作好以后,命名为404.htm或者其它后辍传入网站根目录(由于个别虚拟空间要求不一样可详细查看空间说明和询问主机商),上传完成后在虚拟主机管理面板上设置自定义404错误页路径。传上去后还没有完事,有更重要的工作,那就是测试404错误页面的有效性,许多网站提供“http状态查询”,输入一个不存在的页面和或目录然后检测,当返回状态码为404说明是有效的,如果不存在的路径返回状态码为200那就需要注意,说明你的设置无效或者你的主机自定义404错误页面有问题,需要联系主机商解决。下图为正确设置了404错误页面返回的状态码。

三、设置robots禁止抓取错误页面

对于一个功能完善和友好的新网站,404错误页面是必须的,但是我现在的情况光制作了404还不够。301定向太麻烦,后来想到了robots,这是网站与搜索引擎蜘蛛对话的一个重要文件,那我就在这个文件中告诉蜘蛛禁止抓取不存在的目录和网页。查看空间访问日志发现蜘蛛主要是抓取名为mynist目录下的文件,这个目录是以前旧网站的静态网页存放目录,弄清楚就好办了,在robots文件中添加如下语句Disallow:/mynist/,意思是禁止抓取此目录下的任何文件,再仔细查看日志,将不存在的目录和页面一一添加在robots文件中。百度站长俱乐部lee提到过,robots新添加的语句并不会立即生效需要过程的,正常情况下一周内生效,所以在修改后几天内蜘蛛仍然会抓取已禁止的页面是正常的。

在这个期间我每天为网站更新三篇原创内容,并每天做少量的外链,大概10天后网站首页快照变隔天了,内容页面也陆续被百度放出来,这样的结果说明我的做法是正确的,我买来的老域名并没有被降权和打入沙盒长久观察。所以今天把这个方法分享出来,希望能给网站改版的朋友做个参考和提供一些帮助。本文由淘宝裂帛女装https://www.21rip.info小编二老猫原创首发,如需转载请保留版权。

  • 相关推荐
  • 大家在看
  • 割韭菜狂人:4年躺赚5733亿

    近日,《财经》杂志官微称,据内部人士透露,全球最大的加密货币平台币安(Binance)估值将达到3000亿美元,而其创始人赵长鹏因拥有30%的币安股份,身家达到900亿美元(相当于5733亿元)。一举超过身价4244亿元的农夫山泉董事长钟睒睒、马化腾、马云等,晋升新一届华人首富+全球十大富豪之列。

  • 一句话卖出1800万,NFT这股风,还会吹多久?

    这是一本拥有至少300年历史的杂志,为了创作出符合前沿时代精神的封面,《尚流Tatler》杂志的董事总经理兼编辑总监Paco与团队敲定了此次12月刊的封面策划——找到一位艺术家,并让他来设计一个NFT作品作为封面。

  • 李子柒首次公开创作团队三位成员 “舅舅”只是昵称

    在12月4日新浪微博举办的 “超级红人节”现场,李子柒出席红毯环节,并首次介绍自己的内容创作团队成员。

  • NASA完成SLS固体火箭助推器新测试:将为未来Artemis任务带来改进

    2021年12月2日,NASA和诺斯罗普-格鲁曼公司的工程师团队在阿拉巴马州亨茨维尔的NASA马歇尔太空飞行中心发射了一个直径2英尺的亚尺度固体火箭助推器。这次测试在马歇尔的东测试区进行,这是支持助推器陈旧和寿命延长(BOLE)计划的三次测试中的第二次,该计划将会有一个升级的设计,为Artemis VIII之后的太空发射系统(SLS)火箭的进化配置提供动力。BOLE助推器将是一个比目前SLS固体火箭助推器更大、更强大的固体火箭发动机。Artemis计

  • 研究人员捕捉到电催化过程中的电子转移图像

    电子转移(ET)和电催化剂表面的催化反应之间的关系使得电化学过程在理解和控制方面具有挑战性。如何通过实验确定发生在纳米尺度上的电子转移过程对于理解活性部位的整体电化学反应过程非常重要。最近,来自中国科学院大连化学物理研究所的LI Can教授和FAN Fengtao教授领导的研究小组捕捉到了电催化过程中的电子转移成像。这项研究最近发表在《Nano Letters》上。研究人员建立了一种具有纳米级空间分辨率的原位电化学成像方法,该方?

  • Clearview AI有望赢得美国面部识别技术专利

    Clearview人工智能公司为其面部识别技术获得了美联邦专利--该公司称这是第一个涵盖所谓的人脸搜索引擎的专利,它可以在互联网上爬行寻找匹配。Clearview的软件--它从社交媒体上抓取公共图像以帮助执法部门跟政府数据库或监控录像中的图像相匹配--长期以来一直面临着来自隐私倡导者的抨击,他们称其在人们不知情或不同意的情况下会使用他们的脸。民权团体还认为,面部识别技术通常容易出错,它会错误地让妇女和少数民族的比例高于白

  • 剧情派3:剧情播主“新通路”,小马哥实现内容与变现的“共赢”

    声明:本文来自于微信公众号网红头条(ID:WHTT1111),作者:文|田龙滨,编辑|陈琛,授权站长之家转载发布。精准分流粉丝群体。或是搞笑、情感,或是悬疑、恐怖,剧情类的短视频和直播是内容平台上最惹人眼球的存在之一。不过,在剧情内容强大的吸粉能力背后,却是长久存在的变现难题——如何“优雅”地“恰饭”(网络用语,指内容创作者的商业变现行为),而不引起粉丝的反感。1涨粉“王者”剧情搞笑类型的创作母题,是内容平台上当?

  • 再不自封“元宇宙第一人”就晚了

    话说,Facebook宣布改名Meta后 ,三言曾写了篇《今天,你不改名Meta就落伍了》。当时那篇文章其实就是借Facebook改名这件事调侃一下互联网圈爱跟风炒概念这种现象,但是令人意外,或者也有点意料之中,这短短几十天过去,三言发现再不自封个“元宇宙第一人”的称号那就晚了。

  • 横看成岭侧成峰远近高低各不同一诗写的是哪座山 12月5日蚂蚁庄园今日答案

    ​2021年12月5日,支付宝的蚂蚁庄园小课堂的问题是关于诗句的,问题是“横看成岭侧成峰远近高低各不同一诗写的是哪座山?”这个问题其实还是比较简单的,下面就来为大家分享一下蚂蚁庄园今日答案。

  • 布拉格广场如果想看应该去哪里 12月5日蚂蚁庄园最新答案

    2021年12月5日,支付宝的蚂蚁庄园小课堂的问题是关于歌曲的,问题是“布拉格广场因为同名歌曲为人们所熟知,如果想亲眼看看,应该去哪里?”下面就来为大家分享一下蚂蚁庄园最新答案。

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天