首页 > 优化 > 关键词  > 网站结构优化最新资讯  > 正文

建站优化系列教程八:404页面和ROBOT设置

2012-01-16 14:27 · 稿源:fengxiong77.com

据笔者观察,很多的个人站都对404页面和ROBOT文件不是很重视,因为大部分个人站长都觉得这两个是可有可无的,但是笔者觉得这两个文件对优化也是有影响的,特别是404页面,如果网站出现了无效链接,那么可以通过404页面留住用户,使之返回网站继续浏览。而ROBOT文件则是让蜘蛛更好的收录网站的可收录页面,对于网站收录量的高低有非常大的影响。好了,现在回归正文,下面开始讲解这两个文件的设置。

404页面的作用

大部分站长知道的404页面可能是为了引导用户在浏览到某个无效页面时,可以通过404页面提供的链接返回到网站,而且大部分站长认为404页面就这么一个作用而已。其实不然,404页面还有其他的作用。比如当用户长时间浏览网站时,会出现麻木性的点击,当点击到无效链接时就会产生退出的心理,而这时候如果网站没有404页面引导的话,那么用户自然就会关闭网站,很容易就造成用户的流失了。但是通过设置比较新颖的404页面可以让用户缓冲一下紧张的情绪,就像卢哥的404页面设置一个FLASH小游戏一样,当产生了无效链接时,用户可以通过玩玩小游戏来缓冲一下情绪,这样自然就会更容易的重新返回网站继续浏览了。

所以说,404页面不但是为了屏蔽无效的链接,还可以利用404页面缓冲用户的浏览麻木性,这对于激发用户再次浏览网站具有非常大的帮助,如果你不信,可以设置一个比较新颖的404页面,观察一下其跳出率和PV值吧。

404页面的设置方法

对于上文说的404页面的作用,那么站长如何设置有效的404页面呢?主要有几个方法:

1、404界面风格要新颖。界面和风格都比较新颖的404页面可以让用户浏览到无效链接时,也不会对网站失去了兴趣,而且可以使用户不会为网站出现无效链接而对网站产生怀疑。就像站长之家的404页面,就比较独特了。

2、404页面要有停顿时间。这点对用户和搜索引挚都非常重要,不要把404页面停留的时间设置过短,比如1-3秒之间的就对用户和蜘蛛都不友好。最低保持在5秒以上。

3、404页面不要直接返回首页。如果404页面直接跳转到首页的话,那么就会让蜘蛛爬行时,把它当成是一个独立页面收录,这样对后期的优化并不友好。

4、404页面要给用户选择跳转。其实这点是笔者最近才发现的,许多的404页面只留下一个跳转到首页的链接,这样使得用户无法选择自己要返回的页面,自然对用户体验就不是那么友好了,所以,在404页面中,不但要有跳转首页的链接,还要设置返回其他页面的链接,比如返回上一页、返回之前的分类页等,这些都会让用户感觉到网站的人性化。

5、404页面需要屏蔽掉。在ROBOTS文件中,要把404页面的地址屏蔽起来,这样即使是出现以上的情况也不会让搜索引挚爬行到,也不会出现无效链接也被收录了。

ROBOTS文件的作用

百度百科中ROBOTS文件的解释就是告诉蜘蛛程序在服务器上什么文件是可以被查看的。就按笔者的理解,ROBOTS文件就是为了告诉蜘蛛哪些页面可以抓取,哪些页面不可以抓取。现在很多站长说自己明明设置了禁止抓取的页面,但是搜索引挚也一样收录这些页面,开始怀疑ROBOTS文件是不是没作用了。其实不是,设置了还被抓取那说明你的ROBOTS语法错误了,ROBOTS设置不当使得文件根本就不起作用。其实说白了ROBOT文件的作用就是把自己需要被收录的页面提供给蜘蛛爬行,而不想被收录的,那么通过ROBOTS文件进行屏蔽,不让蜘蛛爬行这些页面,这样就不会造成页面被抓取了。所以说,ROBOTS在网站优化中的作用就是让不利于搜索引挚收录的页面实行屏蔽,通过ROBOTS文件引导蜘蛛可以爬行哪些页面和不可爬行哪些页面。

ROBOT文件的设置方法

那么新手在学习网站优化中,怎么才能正确的设置ROBOTS文件呢,使之具有引导蜘蛛爬行自己允许的页面呢?主要有几个设置方法:

1. 整站屏蔽设置方法。如果你的网站不想被全部的搜索引挚收录的话,那么可以这样写:

User-agent: *

Disallow: /

2. 屏蔽某个文件。比如我不让搜索引挚抓取ADMIN这个文件夹,自然需要用ROBOTS文件屏蔽ADMIN这个文件了,写法:

User-agent:*

Disallow:/ADMIN/

3. 禁止某个搜索引挚抓取网站页面。比如禁止谷歌机器人收录网站的任何页面,写法:

User-agent:Googlebot

Disallow:*

4. 允许一个文件中的某个文件夹被抓取,比如允许FLIMS文件夹中的INDEX2.html文件被抓取,那么就应该这样写:

User-Agent:*

Disallow:/FLIMS/

Allow:/FLIMS/INDEX2.html

其他类似的方法也以此类推,新手在设置ROBOTS文件时,可以多点参考百度优化指南中的相关介绍,这样对于网站收录量高低可以更容易掌握,而且也利于自己知道哪些页面被收录,哪些页面自己禁止被收录了。

在设置404页面,站长应该以用户体验为参考对象,如果自己是网站用户的话,当点击到无效链接时,什么样的404对于自己更有吸引力。而ROBOTS文件主要是针对搜索引挚的,所以,只要设置正规,自然就不会影响到网站优化的效果,但是如果设置不当的话,可能会出现网站不被收录的哦,或者自己不想被收录的页面居然收录了,自已想被收录的页面却没有被收录。所以,今天笔者简单分析了404页面和ROBOTS文件的设置方法,希望新手在学习网站优化的过程中,可以设置出适合自己网站的404和ROBOTS。本文就到这里,由丰胸产品(https://www.fengxiong77.com/)独家供稿,转载请注明,谢谢!

  • 相关推荐
  • 大家在看
  • 谷歌搜索将于2月起根据「页面体验」对桌面网站进行排名

    页面速度和其他体验指标量化了终端用户与网站的互动方式,现在是谷歌确定如何在搜索中进行结果排名的首选方法之一。页面体验包含了速度(加载时间)、响应性(互动性)和视觉稳定性——例如,由于网站在加载过程中意外移动而点错了按钮。这三个重要参考提供了一个「用户在网页上的体验质量的整体情况」。

  • Google桌面搜索政策调整 明年2月参照页面体验对网站进行排名

    自 8 月以来,Google 一直在使用“页面体验”(Page Experience)这个指标,来确定网站在移动搜索中的显示方式。现在,这家科技巨头又宣布 —— 从 2022 年 2 月开始,桌面版 Google 搜索也将参照“页面体验”指标,对相关网站进行排名调整。(图自:Google Search Console)9to5Google 指出:页面速度和其它指标,将被优先用于量化访客与网站的交互体验。前者涵盖了加载时间、响应性、以及视觉稳定性 —— 比如由于站点在加载过程

  • ESET:黑客借中东新闻网站对目标访客发起攻击

    经历了持续一年多的追踪,网络安全研究人员终于摸清了“中东之眼”新闻网站入侵事件的来龙去脉。由 ESET 周二发布的报告可知,一群黑客入侵了总部位于伦敦的这家热门新闻网站。这家网站着眼于中东地区的新闻报道,而攻击者的最终目标却是网站访客。伊朗驻阿布扎比大使馆网站的脚本注入据悉,这轮黑客活动一直从 2020 年 3 月活跃到 2021 年 8 月,期间波及大约 20 个网站,同时导致不少访客中招。具体说来是,攻击者利用了所谓的“

  • 网站快照每天更新,对SEO很重要吗?

    ​SEO是一个信息差异化很大的工作,每天在接触企业主各种问题的时候,普遍都会发现一些基础性的问题,虽然国内SEO行业已经发展很多年。

  • 23年历史的老牌IT网站Hexus突然关闭 两编辑重开新

    作为一个IT网站编辑,笔者自己也经常浏览国外同行的IT网站的,然而过去几年中有很多优秀的网站关闭。这两天英国老牌网站Hexus.net突然宣布关闭,引发网友关注。Hexus网站David Ros在1998年创立的,已有23年资历,在业内也是非常资深的,他除了这个网站之外,还有个网站bit-tech,这次也一同关闭。他在Hexus网站上发表了长文回顾了这么多年来的历程,该网站一共发表了148579篇文章,将近15万篇,也是非常惊人的积累了。David Ross并

  • Btrfs文件系统在Linux 5.16中得到了更多的性能优化

    Btrfs文件系统的开发团队继续稳步推进其性能优化和其他工作,部分原因是Fedora工作站继续默认使用该文件系统,以及openSUSE和其他Linux发行版对其重新感兴趣。在Linux5.16合并窗口最繁忙的第一天,Btrfs的修改由SUSE的maitainer David Sterba提交。本次升级最大的变化是性能改进和一些新的功能开始工作,以及通常的各种修复和代码维护。新内核的Btrfs继续带来了各种性能优化。在Dbench工作负载的样本上,日志的改进产生3%的吞吐量?

  • 警告!勒索病毒Magniber又来了,这次瞄准色情网站

    近期,Magniber勒索病毒攻击事件频发,全国多地网民、政企用户受到波及,并在不同程度受到影响,Magniber勒索病毒利用CVE-2021-40444漏洞进行传播,还使用PrintNightmare漏洞进行提权,危害程度更甚以往。经检测,使用360终端安全和360安全卫士均可以防御和查杀该病毒。黑客团队技术精良,瞄准国内用户有备而来据360安全卫士团队介绍,11月5日开始,360反勒索服务收到大量感染Magniber勒索病毒的求助,同时360安全大脑也检测到CVE-

  • Mozilla Firefox 94 正式发布:引入Colorways六色主题 默认启用网站隔离

    适用于 Windows、macOS 和 Linux 桌面平台和 Android 平台,今天 Mozilla 发布了 Firefox 94 稳定版。其中值得关注的新功能和明显改进包括 Colorways、默认启用的网站隔离,以及所有平台的多种性能和安全改进。下载地址:https://ftp.mozilla.org/pub/firefox/releases/94.0/虽然本次更新幅度并不是很大,但是对于大多数用户来说 Firefox 94 是一个相当重要的版本。在过去 10 年时间里,Firefox 的市场份额不断萎缩,主要被 Chrome

  • 7家视频网站提交会员服务整改报告

    此前,因视频平台会员仍需观看广告等问题,浙江省消保委约谈了爱奇艺、优酷、腾讯视频、搜狐视频、PPTV、芒果TV、乐视等平台。浙江省消保委表示,上述视频网站存在对会员广告特权事前事后告知不充分、取消自动续费操作繁琐、会员观看部分影视剧要另外花钱,观影时间有限制、不能按影片价格充值,充值金额固定等问题。

  • 最高40核CPU 苹果定制芯片将延伸到Mac Pro工作

    援引 The Infomation 报道,Apple Silicon 定制芯片即将延伸到苹果最强大的工作站-- Mac Pro。基于目前掌握的信息,苹果并不会从头开始设计芯片组,而是会在现有 M1 Max 基础上进一步优化,整合更多的 CPU 和 GPU 核心。The Information 报道称,适用于 Mac Pro 的 Apple Silicon 芯片会有两个版本,但遗憾的是报道中并未提及 CPU 和 GPU 的核心数量。不过另一家科技媒体 Wccftech 表示该工作站型号芯片最多可以提供 40 个 CPU 芯?

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天