首页 > 经验 > 关键词 > robots最新资讯 > 正文

一个站长的robots.txt痛苦经历

2013-05-10 10:12 · 稿源:xuecnc.com

今天来说一个大家十分熟悉的东西robot文件,相信大家对这个不陌生吧!但是我发现很多站长朋友们忘记了这个文件的重要性,而且在设置的时候很随意。这种理解是错误的。我自已在一边听课一边自学,今天碰到了这个问题;随后,我就咨询了一位seo的老师,我问他:老师这个robots重要吗?当时,老师语重心长的对我说了一句;robots既可以成就你的网站;也可以毁掉你的网站。所以嘛,还是很重要的。

言归正传吧!来和大家聊聊robots在我们网站的一些情况;在seo研究中心有一位和我是比较好的朋友,有一次,他的网站有收录上千,突然一个下午收录为0了。当时他慌了,因为网站收录没有了;流量也没有了,辛辛苦苦的忙了一个多月。到头来却发现;竹篮子打水一场空。当时他心灰意冷;就跑到群里聊天,到处去问;我网站被k了,求解决方法啊!心急如焚,然后,有很多人帮他忙;检查原因,经过一段很长的时间检查,大家发现了原因是他的网站robots屏蔽了百度蜘蛛抓取网站页面。

为什么会出现这种情况呢?原因在于它在做网站的时候robots是完全屏蔽了百度蜘蛛抓取。大家知道一个事实吧!就是当你写好了规则;屏蔽了百度蜘蛛的时候,可以发现百度还是会抓取的。道理很简单,百度不可能做到人一样智能化。所以你屏蔽蜘蛛他还是会来抓取的。但是你也别慌啊!等过段时间百度就会把已经抓到的页面、但是你robots文件中有屏蔽的页面;他会从索引库删除,百度也会有一个发现的过程;到改正和纠错的过程。

当时,我就记得他说了一句话,就是为什么会去屏蔽百度蜘蛛?因为网站刚做;而且他本人也学习了seo,所以也听过seo的老师讲过一些这方面的内容,明白自已做一个新站可以暂时屏蔽网站蜘蛛;等网站做好了再提交给搜索引擎,并且把robots文件修下,允许百度抓取;可能是他忘记了,把这关键一步给忘记了。导致他辛苦做的网站和外链;被百度删除了收录的页面,那段时间很痛苦;他整个人情绪也是十分低落的。

今天,我通过这个朋友的经历也是希望大家能够去重视robots这个问题?很重要,请不要忽视了;顺带自已谈谈我做的robots的一些经验,我记得网站在新建的时候。我自已也是没有注意robots文件这个东西,觉得无所谓啊!然后昨天听老师讲到了这个问题;我自已开始重视了,然后我开始把一些很垃圾的页面和图片全部给屏蔽了,页面主要是一些动态页面,大家都知道;百度喜欢静态的;如果你网站是动态;会造成搜索引擎多次抓取,给搜索引擎印象又不友好。浪费蜘蛛时间和资源。你说他能对你又好吗?还有图片也是一些网上采集的图片;因为百度把一些原创图片给抓取了,如果你网站再用;这会导致百度认为你网站是抄袭的和伪原创的。这会导致百度不收录你的网站。

说了这么多,我个人建议就是希望广大的站长朋友能够去重视这个问题!

原文地址:http://www.xuecnc.com/seo/post/0507.html。

  • 相关推荐
  • 大家在看
  • 分析师认为苹果应该收购DuckDuckGo搜索引擎 以向谷歌施压

    伯恩斯坦公司(Bernstein)分析师Toni Sacconaghi在分享的一份研究报告中表示,苹果应该收购一家搜索引擎公司,向谷歌施加压力。

  • 谷歌前广告主管正在打造一款无广告的搜索引擎

    据外媒报道,Sridhar Ramaswamy于 2013 年成为谷歌广告和商务高级副总裁。他领导着这个价值 1150 亿美元的分支机构达五年之久,该机构负责通过AdSense在搜索、YouTube和网站上出现的广告。但因受够了谷歌的暴利和客户与广告商之间的利益冲突,Ramaswamy选择离开谷歌并创建了自己的搜索引擎。

  • 百度回应腾讯告老干妈涉某搜索引擎:手里的瓜突然不香了

    7月1日,随着贵阳警方发布了腾讯与老干妈千万广告费纠纷案是因为3人伪造印章与腾讯签合同,也让这件事情真相大白。但网上传闻“腾讯状告老干妈拖欠广告费提及某搜索引擎”,对此百度官方回应称“手里的瓜突然就不香了”。

  • 谷歌向苹果支付数十亿美元,使其成为Safari的默认搜索引擎

    英国监管机构周三发布了有关苹果Safari浏览器和谷歌搜索引擎交易的调查报告。英国竞争和市场管理局(CMA)最新报告显示, 2019 年,谷歌共向英国支付了 12 亿英镑(约合 15 亿美元)的费用,成为英国各种移动设备上的默认搜索引擎,其中,绝大部分付给了苹果公司。

  • 谷歌英国向苹果交了15亿美元“保护费” 成Safari默认搜索引擎

    据路透社报道,英国监管机构正在审查苹果和谷歌之间的一项长期协议,该协议涉及苹果设备将谷歌设置为默认搜索引擎。

  • 信息流优化策略与SEO搜索排名,有关联吗?

    最近,在和SEO你问我答群里小伙伴,私下交流的时候,总是在说一些流量获取的问题,而最为常讨论的情况就是SEO流量与信息流平台的流量。

  • SEO优化,4个独辟蹊径的策略!

    有的时候SEO工作就是一个数字游戏,每天看着数据的增长,不断的调整相关性的策略,但我们非常清楚,有的时候SEO优化会面临各种调整,特别是同行业之间的竞争。

  • 官抖直播,真能成为销售增长新引擎?

    当携程CEO梁建章、网易丁磊、格力董明珠纷纷走进直播间,并频传销量捷报;当寺库、妃鱼、唯品会为代表的电商平台选择扎根在抖音并开启高频直播,以寻求新流量渠道的获客和变现机会;

  • 百度搜索将严格控制搜索结果中的APP调起行为

    2020 年 3 月,百度搜索资源平台发布了《百度APP移动搜索落地页体验白皮书5.0》。近期百度搜索发现部分站点频繁出现强制用户调起APP的行为,严重影响了用户的搜索体验。

  • 记录“向往的小米生活”,巨量引擎如何让综艺IP效应最大化?

    当代年轻人的生活节奏越来越快,对娴静自得的生活状态总是持以特别的向往和期待。 5 月 8 日,《向往的生活》第四季正式上线,这个号召大家回归自然,放慢生活节奏的综艺节目自上线起即倡导不一样的生活方式,激起广大用户关注。作为此季的首席合作伙伴,小米 10 期望与“蘑菇屋”一起记录各种美好过往,更希望在拍摄场景中传递产品本身的优势功能。为了将IP效应最大化,小米联合巨量引擎,借助抖音和今日头条强大的内容传播影响力

  • 渠成的SEO智能营销为用户带来了什么

    渠成作为Netconcepts的创始人,逐步带领公司成为全球领先的互联网营销企业,究竟渠成是靠什么在十几年的时间里,将Netconcepts带向世界前沿的?答案是——SEO。渠成:SEO是核心Netconcepts发展之初,就是以SEO(搜索引擎优化)为核心优势。在渠成的带领下,发展至今,Netconcepts已经成为一家集搜索引擎优化、搜索引擎广告、社会化媒体营销、在线名誉管理、转化率优化服务、移动互联网营销、整合网络营销推广和教育培训为一体的综合?

  • 支付宝宣布搜索板块新增数十万金融类搜索关键词

    今日,支付宝宣布搜索板块新增数十万金融类搜索关键词,搜索股票名称、基金名称等关键词,可直接获取股票及理财信息查询、模拟交易、股票分析、研报资讯、理财交流、基金购买等金融服务。

  • 论道汽车效果广告,巨量引擎×金投赏炉边会开启“增效”密钥

    2020 年,汽车行业面临全新变局。存量市场竞争加剧,有效线索成本高企,投放预算进一步压缩,重重压力下,车企将营销关注点转向“效果”这个关键词上。效果广告在汽车行业仍是一个新概念,对比教育、快消等成熟行业还有着非常大的增长空间。“巨量引擎现在做效果广告营销是生意驱动型,希望真正帮助企业生意有成长,效能有增加。在汽车领域,不仅仅是帮助主机厂,也帮助主机厂的渠道、经销商们一起去提升生意能力。”在 6 月 12 日

  • VE视频引擎推出跨平台的视频剪辑解决方案

    据艾瑞、极数等咨询公司发布的中国短视频行业报告显示。国内的短视频用户数已达 8 亿之多,并且用户数还处在一个持续增长的过程中。在如此庞大的市场规模下,必然会产生海量的PGC(专家生产内容),UGC(用户生产内容)视频内容。PGC生产内容的方式需要专业的视频拍摄团队按照剧本拍摄,然后拍摄后的视频交付视频后期团队进行视频剪辑、视频包装。UGC生产内容是方式主要是用户拍摄一段生活场景视频。然后通过视频剪辑的APP去完成二次编

  • 支付宝搜索板块升级:新增数十万金融类搜索关键词

    6月16日消息,支付宝今日宣布,搜索板块迎来重要升级——新增数十万金融类搜索关键词,以往用户获取金融服务需进入到理财页面才可以。据介绍,现在用户上支付宝搜索股票名称、基金名称等关键词,即可一步直达获取股票及理财信息查询、模拟交易、股票分析、研报资讯、理财交流、基金购买等金融服务。据支付宝搜索产品运营负责人袁怀宾透露,目前50%通过支付宝搜索框获取服务的用户,搜索的都是金融类服务。“金融服务是

  • 不止米10/10 Pro 小米POCO F2 Pro也即将升级Android 11

    谷歌Android 11 Beta 1已经上线,各家品牌公布了相关适配计划。6月12日消息,POCO官方推特预告,小米POCO F2 Pro即将适配Android 11。此前MIUI确认小米10、小米10 Pro将升级到Android 11,这

  • 快手磁力引擎再发力 欲助力商业伙伴获百亿营收

    2019 年 10 月,快手在北京举行2019 Fe+新商业峰会,正式宣布将快手营销平台全面升级为“磁力引擎”,全力冲刺社交新商业。 2018 年是快手商业化元年,快手在首届“Fe+商业峰会”上正式发布了快手营销平台。依托快手的大数据和技术优势,快手生态中的老铁们就像一块巨大的磁铁,让技术和商业产生了化学反应。 时隔一年,快手营销平台正式升级为“磁力引擎”。从字面上看,它是链接万物、具有高黏性和强定力的巨大力场。实际上,这

  • 华为开源数据虚拟化引擎openLooKeng:统一SQL接口

    华为在开源软件上又迈出了坚定一步,正式宣布开源数据虚拟化引擎openLooKeng,开源社区官网(https://openlookeng.io)同步上线。openLooKeng致力于为大数据用户提供极简的数据分析体验,让用户

  • 斑马仓携手数字化改革,成为家装行业贴地起飞的强引擎

    互联网家装发展至今,早已褪去过去的狂热和追捧,进入到客观和理性的阶段。但是不论如何,互联网家装仅仅是一种获客的工具和手段,没有了用户和流量,互联网家装模式必然会遭遇困境,一切都是零。因此,我们必须要思考一种有别于互联网家装的进化新模式。其实,模式很简单,还是回归到家装行业本身,通过解决家装行业本身的痛点和难题,达到供给端的升级和改造,从而找到满足用户新需求的方式和方法。痛点可以总结为:1、准入门槛低,竞争白热化2

  • 字节跳动推出企业技术服务平台“火山引擎 ”

    6月22日消息,字节跳动企业技术服务平台“火山引擎”官网上线,字节跳动在企业服务领域的布局开始慢慢地揭开其神秘的面纱。据介绍,“火山引擎”是字节跳动旗下企业级智能技术服务平台,依托字节跳动的大数据、人工智能等技术能力,以及增长理念与方法论,为客户提供技术产品与解决方案。字节跳动火山引擎负责人肖默表示:字节跳动作为一家全球化互联网公司,在过去8年中迅速成长,在这一过程中,不断积累的技术能力、

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议