首页 > 优化 > 关键词  > robots.txt最新资讯  > 正文

robots.txt文件屏蔽css导致网站收录停止

2011-09-06 09:35 · 稿源:信阳seo

昨天和主管聊搜索引擎蜘蛛抓取网页的特点,主管一句话“百度蜘蛛抓取网页层次浅,如果用robots.txt文件静止,则导致网站收录停止”则让我心里有个疑问,难道真的是这样的?我的博客是8.12建立了,建立后写了几篇原创文章同时转载了部分文章,有几篇文章还在站长之家、站长网等网站投稿了,外部链接也做了点,可是百度只收录首页,死活不收录其他页面,而且首页快照也不更新。联系到这句话,因为博客的robots.txt文件屏蔽了css文件(Disallow:/*.css$),所以昨晚决定发篇文章,修改下robot.txt文件,等待百度更新,今天观察结果。

首先、通过站长工具-seo综合查询结果如下图:

百度收录量:总收录量:4;今日收录:0;最近一周:1;最近一月:4。

百度反向链接:661个。

百度排名:信阳seo:24;信阳网站优化:18;信阳网站推广:77

第二、看搜索引擎收录历史数据。

从2011-08-13到2011-08-31百度对博客收录量从0增加到1后维持不变。相比情况下,google收录量则从0增加82。其他搜索引擎大都停止收录。

再看搜索引擎反向链接的历史数据。

从2011-08-13到2011-08-31百度反向链接从1增加到131,google反向链接从0增加到1(google反向链接增加较慢),雅虎反向链接则从0增加到21,有道反向链接一直为0。

从百度反应来看,robots.txt文件屏蔽css可能就是导致百度对网站停止收录的原因了。晚上与朋友聊天,朋友说了个观点:因为博客的css文件(https://www.0376seo.net/wp-content/themes/prowerV3/prowerV3/style.css)里有隐藏代码(“Display:none;”)一旦屏蔽搜索引擎蜘蛛抓取就会被搜索引擎判定为作弊。本来css文件隐藏代码是出于页面布局或其他需要而不得以为之的策略,一旦屏蔽蜘蛛抓取,当蜘蛛抓取页面时,发现隐藏文字,而此时又无法抓取css文件,所以就判定为作弊。

在博客的css文件中有二处隐藏代码:

#nav li ul,.says{display:none;}

*html#go_top{display:none;}

对照页面代码找到具体的xhtml代码:

<div id="go_top"><em></em><a href="#">返回顶部</a></div>

<span class="says">说道:</span>

最后百度搜索“robotscssseo”找到seowhy的一个帖子“robots.txt屏蔽css文件的疑问……作弊有关”。

今天就这个问题我请教了seo界的一些达人,答案不一。但大多认为这是作弊的打击对象。

其中有个我个人认为比较合理的答案写出来供大家参考:

“robots.txt文件能阻止搜索引擎收录,但依然能读取,结果还是会被判定为作弊”。

我的博客在建立之初,robots.txt文件是参考搜索引擎上一些博客的写法,不假思索地照抄进来,导致被百度判定为作弊。

试验:

2个新站,采用同样的系统(dedecms),空间相同配置,域名年龄相近,一个设置robots.txt文件禁止抓取css,另一个则不禁止。然后同时提交到百度,持续一段时间观察百度反应。

信阳seo原创文章,原文地址:https://www.0376seo.net/54.html转载请注明!

  • 相关推荐
  • 大家在看
  • 谷歌:微软 Bing 搜索引擎上最热门的搜索词是「Google」

    据彭博社报道,该律师描述说,「Google」是迄今为止在必应上搜索最多的词。 谷歌正在用这个角度来证明其客户选择使用谷歌搜索而不是竞争对手,而不是因为它是其设备上的默认选项。

  • 隐私搜索引擎DuckDuckGo宣称已达成负碳排放

    主打隐私体验的 DuckDuckGo 搜索引擎,刚刚宣布其在 2008 ~ 2020 年间实现了负碳排放,并承诺在未来几年内加大努力。该公司称,其正在使用黄金标准来抵消其 125% 的上下游排放量,同时希望为致力于发展除碳技术的 Stripe 气候计划提供等量的帮助。在确定需要抵消多少碳排放时,DuckDuckGo 援引了温室气体协议,将排放主要划分成三大范围与附加活动。其中该公司的“碳排抵消包”涵盖了直接排放、购买能源的间接排放、产品与服务器的

  • 放弃 Google 搜索引擎,Firefox 欲用必应替代?

    以「To organize the world's information and make it universally accessible and useful」(整合全球信息,供大众使用,使人人受益)为宗旨,背靠复杂的算法,借助准确的搜索结果为基石,Google 搜索引擎已成为全球最受欢迎和信任的搜索引擎,其比位于第二名 bing 足足高出近90% 的市场份额。

  • Google用首页涂鸦庆祝搜索引擎上线23周年

    Google周一用一个新的涂鸦来庆祝其23岁生日。这幅动画涂鸦的特点是一个分层的生日蛋糕,上面撒着彩虹糖霜,还有醒目的数字23。这个搜索巨头的名字也被糖霜覆盖,同时还有拟人动画效果,闪烁的绿色生日蜡烛取代了"Google"中的"L"。Google公司于1998年9月4日正式成立,由谢尔盖-布林和拉里-佩奇共同创立。1997年,当时还是斯坦福大学研究生的布林,负责带新生佩奇参观校园。第二年,这对好友在他们的宿舍里一起开发了Google的第一个?

  • 微软必应或将取代Google成为Firefox默认搜索引擎

    据国外媒体报道,根据Mozilla九月份发布的SUMO研究报告,目前正在测试微软的Bing作为Firefox的默认搜索引擎。从本月6号开始,大约有1% 的Firefox桌面用户已经接受了这次早期测试。Mozilla预计测试阶段将持续五个月左右,明年一月完成。

  • Firefox 正测试使用微软必应取代 Google 成为火狐浏览器默认搜索引擎

    据Neowin报道,根据最新的9月份SUMO研究报告,Mozilla目前正在测试微软的Bing作为Firefox的默认搜索引擎。该公告称,自本月6日以来,约有1%的火狐桌面用户接受了这种早期测试。Mozilla预计这个测试阶段将持续约五个月,并在明年一月前完成。

  • Chartbeat:本周Facebook宕机后 新闻网站的流量大幅增加

    据外媒报道,Chartbeat的一项新分析发现,当 Facebook 本周出现宕机时,新闻网站的流量增加了。2018年8月3日,Facebook宕机45分钟。与本周的故障相比,这只是一个小故障:10月4日,Facebook、Instagram和WhatsAppk曾宕机近6小时。三年前,Chartbeat的Josh Schwartz曾写道,45分钟的Facebook故障足以让人们去其他平台阅读新闻。那么这次发生了什么?根据Chartbeat本周提供的来自60个国家的数千家出版商客户的数据,在长达5个多小时?

  • Twitter页版将允许用户 “软屏蔽”粉丝

    据外媒The Verge报道,Twitter网页版正在推出一项新功能,让用户可以在不阻止粉丝的情况下删除他们,这一行动也被称为 “软屏蔽”。要“软屏蔽”一个粉丝,用户需进入个人资料的粉丝列表页面·,点击粉丝名字旁边的三点菜单,然后点击“删除粉丝”选项。 用户删除的粉丝将不会被通知这一变化。“软屏蔽”与屏蔽不同,因为它允许粉丝仍然看到用户的推文和发送私信,但用户发布的内容不会再自动出现在粉丝的消息流中。当用户删除一个

  • 苹果在Twitter上再次为MacBook Pro发布会定制hashflag

    还和以往的苹果活动一样,即将于 10 月 18 日召开的“Unleashed”活动在 Twitter 上也有自己的 #AppleEvent“hashflag”。更新后的 hashflag 采用了从浅蓝到深蓝的过渡,这与活动邀请函的图案一致。苹果公司使用 hashflags 来提高活动的知名度,并在社交媒体网络上进行炒作。自去年年底以来,苹果一直在使用定制的Twitterhashflags,Agency Creative所做的研究表明,这些定制hashflags的成本可能高达100万美元。苹果的“Unleashed?

  • Rockstar宣布GTA经典重制

    Rockstar终于确认《Grand Theft Auto 3》、《Vice City》、《San Andreas》三部曲重制版将于年末登陆PC、PS、Xbox,以及Switch平台;iOS及安卓版安排在明年上半年。Rockstar表示这三部经典将迎来全面升级,除图像质量得以增强外,游戏元素也进行现代化翻新,同时保有原作经典式样及气息,具体细节将于未来数周公布。为迎接重制版新三部曲,Rockstar通知各平台从下周起不再销售老三部曲,已购买这些游戏的顾客仍可正常下载及运行。?

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天