首页 > 优化 > 关键词  > 服务器不稳最新资讯  > 正文

解决因服务器而导致蜘蛛抓取失败的原因

2012-01-29 15:46 · 稿源:重庆SEO

服务器是网站生存的基础,不论是什么原因造成的服务器封禁,都直接影响蜘蛛的抓取,影响网站的用户体验,不利于seo工作的展开。我其将以自己的亲身经历,结合网络上一些朋友对这类问题的分析,总结出造成服务器封禁的三点主要原因:

一、服务器不稳定

现在的服务器多如牛毛,价格也各不相同,质量方面也是相差甚远,站长们往往在选择的时候都是“只认价不认质”, 有的空间商为了节省资源,故意屏蔽掉spider(蜘蛛)的IP,导致spider抓取失败,网站页面就无法被搜索引擎收录。

解决方法:选择有实力的正规空间商,尽可能保证您的网站稳定。服务器和空间的稳定性需要一定的技术实力来保障,一些没有实力的空间商,可能无力提供良好的服务,服务的稳定性无法保证。我们可以很形像的打个比喻:如果将“人”比喻为网站内容,那么服务器就是我们的“家”,它为我们挡风避雨,为我们的生存提供了一个优良的环境,而服务器的好坏将影响我们所能承受的风险。我想,谁都不愿意住在没有安全保障的屋子里,拿自己的生命开玩笑,同理,网站也是如此!如果您现在的服务器不理想,有必要另选时,请暂时让旧服务器能够使用一段时间,并且做301跳转,尽量减少更换服务器带来的一系列损失。

二、人为操作失误

对搜索引擎蜘蛛认识不够,对一些冒充搜索引擎spider的IP无法正确判断,继而误封搜索引擎IP。这样会导致搜索引擎不能成功抓取网站,无法成功抓取新网页,以及将之前已经成功抓取并收录的页面判定为无效链接,然后搜索引擎将会对这些死链接进行清除,继而网站页面收录减少,最终导致网站在搜索引擎的排名下降。

解决方法:正确认识各搜索引擎蜘蛛,而搜索引擎使用的 IP 地址会随时发生变化,为确保能够正确识别各搜索引擎IP,您可以使用DNS反查方式来确定抓取来源的IP是否属于正规搜索引擎,防止误封。

例如查Baiduspider:在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspide的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

$ host 123.125.66.120

120.66.125.123.in-addr.arpa domain name pointer

baiduspider-123-125-66-120.crawl.baidu.com.

host 119.63.195.254

254.195.63.119.in-addr.arpa domain name pointer

BaiduMobaider-119-63-195-254.crawl.baidu.jp.

三、保护性的偶然封禁

1、如果网站的访问量过大,超过自身负荷,服务器会根据自身负荷进行保护性的偶然封禁。这种封禁是短暂性的,只要访问量下降到服务器的承受范围之内,那么服务器就会正常工作。

2、还有一种情况是spider造成的,搜索引擎为了达到对目标资源较好的检索效果,蜘蛛需要对您的网站保持一定量的抓取。搜索引擎会根据服务器承受能力,网站质量,网站更新等综合因素来进行调整, 建立一个合理的站点抓取压力。但是会有一些例外,在压力控制不好的情况下,服务器会根据自身负荷进行保护性的偶然封禁。

解决方法:1、如果是访问量造成的压力,那么恭喜你,说明你的网站已经拥有可观的访问人数,我们就应该升级服务器,来满足不段增长的访问量。2、如果是spider造成的,我们可以采用如下方式来减轻spider对服务器产生的压力:A、利用robots文件,屏蔽掉不想被spider抓取的页面。B、采用nofollow标签,屏蔽不想被spider爬行的链接。C、页面中较长的CSS、JS代码移到外部文件。D、删减多余代码。应当注意的是,以上两种情况在返回的代码中尽量不要使用404,建议返回503(其含义是“Service Unavailable”)。这样spider会过段时间再来尝试抓取这个链接,如果那个时间站点空闲,那它就会被成功抓取了。

最后,希望站长尽量保持站点的稳定,对于暂时不想被搜索引擎抓取的页面,使用正确的返回码告知搜索引擎,如果确实不想被搜索引擎抓取或者索引,可以写robots信息告知。

作者:奕杉其

文章来源:重庆seo https://www.137sv.com/seotechnique/27.html转载请注明来源,并保留来源的完整性,谢谢。

举报

  • 相关推荐
  • 国内MCP服务器搜索引擎有哪些?MCP服务网站推荐

    在人工智能技术飞速发展的今天,AI模型与外部工具和服务的交互能力正逐渐成为推动技术进步的关键因素。今天,我们聚焦于一个新兴的、极具潜力的平台——AIbase(https://mcp.aibase.cn/),它为全球的AI开发者和研究人员提供了一个前所未有的MCP(Model Context Protocol,模型上下文协议)服务器集合平台,助力AI技术的进一步发展。 MCP协议是一种开放标准协议,旨在允许AI模型与外部

  • 国内MCP服务器搜索引擎有哪些?MCP导航站平台推荐

    在人工智能技术蓬勃发展的今天,AI模型与外部工具和服务的交互能力正成为推动技术进步的关键。AIbase(<https://mcp.aibase.cn/>)作为一个专注于MCP(Model Context Protocol,模型上下文协议)服务器的集合平台,为全球的AI开发者和研究人员提供了一个前所未有的资源库,助力AI技术的进一步发展。 AIbase平台的核心在于其对MCP协议的深度整合。MCP协议是一种开放标准协议,允许AI模�

  • AIbase MCP服务库上线:集成服务器、客户端、调试、案例教程等服务

    在当今数字化时代,人工智能技术正以前所未有的速度发展,深刻地改变着我们的生活和工作方式。而要充分发挥AI的强大能力,离不开高效的工具和服务支持。今天,就让我们来了解一下一个专注于MCP(Model Context Protocol)服务的优质平台 —— AIbase(www.aibase.cn)。 AIbase平台(https://mcp.aibase.cn/)作为一个精选全球优质MCP服务器的集合平台,为AI应用开发者和爱好者提供了丰富的�

  • 国内MCP服务平台推荐!aibase.cn上线MCP服务器集合平台

    在当今数字化时代,人工智能技术正以前所未有的速度发展,深刻地改变着我们的生活和工作方式。而要充分发挥AI的强大能力,离不开高效的工具和服务支持。今天,就让我们来了解一下一个专注于MCP(Model Context Protocol)服务的优质平台 —— AIbase。 AIbase(<https://mcp.aibase.cn/>)是一个精选全球优质MCP服务器的集合平台。它就像一个精心打造的资源宝库,一站式整合了海�

  • 贵阳阿姨河道捡到漂亮石头 竟自燃导致自己四肢烧伤

    据媒体报道,贵阳的罗阿姨在花溪河道游玩时捡到一块奇石”,不料这竟是一场噩梦的开始。当天,她随手将石头揣进裤兜,不一会儿裤兜竟莫名自燃起来!罗阿姨虽迅速脱下裤子,同伴也紧急浇水灭火,但火焰却异常顽固,裤子持续燃烧。 更令人心惊的是,事发半小时后,被水浇透的裤子仍在嘶嘶作响、火花闪烁,裤兜被烧穿,现场触目惊心。罗阿姨随即被送往贵钢医院救

  • 四名少女同乘一辆电动摩托扎进绿化带:秒变“八腿蜘蛛”

    暑假来临,各位家长一定要多跟孩子普及交通安全知识,毕竟在疯玩的年纪,自然也就会忽略潜在的危险。 据公安部交通管理局”披露,6月19日下午三点多,湖南永州,一辆载有4人的电动摩托车经过十字路口时,失控撞上安全岛路缘石,4人和摩托车一起栽进了绿化带里。 经查,车上4名女生都是在校初中生,年龄分别为14岁、15岁,不仅未达驾驶电动自行车的法定年龄,更不

  • 韩国一个西瓜涨到156元 极端天气导致供应短缺

    近日,韩国市场上的西瓜价格出现大幅上涨,一个普通西瓜的售价竟高达156元人民币,引发消费者广泛关注。据市场监测数据显示,此次价格飙升主要源于夏季极端天气对农作物产量的严重影响。 韩国农业部门分析指出,今年入夏以来,持续的高温干旱天气导致西瓜生长周期延长,同时病虫害发生率上升,直接造成市场供应量大幅减少。首尔某大型超市的采购经理表示:"�

  • 小米:MIX Flip 2不要私自更换内屏膜 极易导致物理损坏

    今日早间,小米CEO雷军转发小米手机官方微博发布的“小米MIX Flip2答网友问”,针对用户关注的新机可靠性及使用细节进行权威解答。其中,关于折叠屏手机内屏膜更换的疑问成为焦点。 针对用户能否自行撕下并更换小米MIX Flip2内屏膜的问题,小米明确回应:“不可自行操作,此原则适用于全行业折叠屏手机。”官方解释称,折叠屏内屏贴膜需在专业工具与无尘环境中完成,�

  • 一只烤鸭只卖25元 店家仍挣钱:背后原因揭晓

    近日,“一只活鸭上百元,一只烤鸭只要25元”的话题冲上热搜,引发了公众对于烤鸭价格及店家盈利情况的广泛关注与讨论。经调查发现,街头售价25元的烤鸭背后藏着不少门道,店家凭借低成本与高销量仍能实现盈利。 街头烤鸭店使用的多是樱桃谷白羽肉鸭,这种鸭具有“吃得少、长得快”的特点,养殖成本相对较低。而且,商家采用的是分割销售模式,用来做烤鸭的鸭�

  • 女子连续一周被邻居冒用地址点外卖 网友猜测原因

    7月7日,上海一名网友在社交平台发帖爆料,称自己连续一周遭遇邻居冒用地址点外卖,甚至被对方当面拦截,引发网友对隐私安全与平台监管的关注。 据当事人李女士(化名)描述,自6月底起,她频繁发现家中门口出现非本人订购的外卖,起初以为是配送错误,未予理会。但连续多日后,李女士调取楼道监控发现,邻居张某(化名)多次在骑手送达时,通过短信或平台消息指�