很多站长都在抱怨自己的网站经常性的不能被收录，其实很大一部分是由于不太了解蜘蛛陷阱而导致了自己的网站不是一个利于搜索引擎蜘蛛爬行的网站，今天黄文星就为大家介绍下常见的蜘蛛陷阱以及处理方法：
所谓的蜘蛛陷阱就是指由于一些不太合理的导致不利于蜘蛛爬行和抓取的网站设计技术。就蜘蛛的的角度来讲，一个网站在抓取和爬行时总是会遇到问题，就会被视为一种不友好的表现，所以久而久之就导致了网站不被收录、快照不更新等问题。所以要分析蜘蛛陷阱就应该以蜘蛛的角度来看待一个网站的设计。常见的蜘蛛陷阱有：
占据页面内容过多FLASH
在网页的某一部分使用FLASH增强视觉效果是很正常的，这也是提高用户体验的一种好方法，但是有的王章的首页就是一个巨大的FLASH文件，没有其他的文字内容，这就构成了一个蜘蛛陷阱，因为蜘蛛是不能读取FLASH里面的文字内容和链接的。于是整个网站在蜘蛛眼里就只有一个FLASH网站，可能视觉效果给人一种非常精彩的感觉，但是，这就相当于瞎子电灯—白费蜡了，因为蜘蛛是看不到它的。所以说一个网站不要让FLASH占据了你过多的页面，如果你必须要这么一个效果，至少要在首页加上一个通往HTML版本的链接，毕竟蜘蛛是不会通过FLASH进入你的HTML页的。
长而不利于记忆的动态的URL
因为动态的URL其中一般都会带有问号、等号及参数等大量信息。因为这样的URL很容易让蜘蛛陷入一个无限循环或者大量收录重复内容的怪圈，所以蜘蛛对动态的URL也是敬而远之的。所以说我们最好能使用服务器URL重写模块将这些动态的URL静态化，也就是大家常说的伪静态（这个以后会在为大家详细讲述）。而且由于太长的动态URL地址不利于记忆，所以静态化对于用户体验来说也是十分有必要的。
令人误解的JAVASCRIPT链接
由于javascript（下面简称JS ）可以创造很多吸引人的视觉效果，所以想现在很多网站喜欢用JS脚本来生成导航系统。这就陷入了合上面过渡使用FLASH一样的蜘蛛陷阱了。应为过渡注重用户体验而导致不利于蜘蛛的爬行，因为蜘蛛是不能解析JS脚本的。所以网站上的链接最好是能是同最简单标准的HTML链接，其实通过CSS我们也能做出很多的视觉效果，不要过分纠结于JS所产生的效果（其实JS脚本可以用于制作一些站长不希望被收录的页面，以此来阻止蜘蛛的爬行）。
隐藏登陆板块
有的网站把内容放到了需要用户登陆之后才能看到的会员区域，虽然可以加长用户在网站的体验时间，但是你要记住，蜘蛛并不是人，它不会填写用户名、密码，当让更加不可能去注册了。所以你这一部分内容是无法被蜘蛛找到的。所以各位站长不要讲自己希望被收录的内容放在那些需要登录的隐藏版块里面，毕竟藏起来的东西并不是为了让别人找到的，不是么？
豪无意义的跳转
除了必要的301跳转之外，搜索引擎对其他的跳转都很敏感。试想下蜘蛛进入你的网站之后，立刻就被拉去别的地方，肯定会给蜘蛛留下非常不好的印象，而且现在很多黑帽SEO都利用这种转向欺骗搜索引擎和用户，所以不到万不得已的情况尽量不要用301跳转以外的跳转（301转向由于是搜索引擎推荐用于网址更改的转向，是一种传递权重转向，所以不会对搜索引擎产生不利的影响）
总之来说，就是要做一个搜索引擎友好的网站设计，只有你的网站总是能让蜘蛛能简单舒适的爬行和抓取你的网站，同理蜘蛛就会更喜欢光临你的网站，网站就能有一个健康而稳定的发展。
文章来源：https://www.seoneet.com
（举报）