首页 > 优化 > 关键词 > robots.txt最新资讯 > 正文

51.com的robots.txt有错吗?

2007-05-05 04:28 · 稿源:优客搜索引擎优化联盟

什么是robots.txt文件?


搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。
您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。


因为刚写了51是因为二级玉米泛滥和站点垃圾造成被封,去站长站看见“眼镜蛇”写的是因为51的robots.txt的原因。

我仔细看了51的robots.txt而最后要驳反“眼镜蛇”的判断和定论!

每个站点都必须要有robots.txt吗?

不一定,看情况

那么robots.txt是针对任何搜索引擎吗?

不一定,搜索引擎的概念是什么先搞明白!至少他有蜘蛛,并且遵循robots.txt语法。像百度,google,yahoo都遵循
官方的robots.txt

robots.txt放在哪里?

根目录下,就是通过 http://www.abc.com/robots.txt等浏览访问到的!

robots.txt怎么写?

请查询:http://www.robotstxt.org/

因为眼镜蛇说百度杀了51是因为51的robots.txt

“51.com搜索消失原因是公司想借机炒作?”

(联系到五一国庆左右百度大规模检查并封杀作弊网站,开始让业界以为51.com是百度惩罚的网站之一,
通过某朋友提示到51.com的robots.txt文件,让大家明白了百度网站只收录一页的原因,
并不是搜索引擎人为所至,而是51.com自身原因。 )

郁闷一:五一成“国庆”了!

郁闷二:robots.txt写法遵循规则,搜索引擎也给予遵循!那么就是眼镜蛇以上文章的判定错误!不是51的robots.txt错误!


分析反驳:

因为51的主页都在home下或者这个二级玉米下,那么就这个来说!


1:http://www.51.com/robots.txt 18行

Disallow: /home/ (假设只针对百度,因为google 没把51怎么着,而之后分析则套用google的一些现象对比百度,除非他们不是一样性质的遵循robots.txt的搜索引擎!)

百度给出的定义:

"Disallow:/help/"则允许robot访问/help.html,而不能访问/help/index.html

http://www.baidu.com/search/robots.html

那么就是说在http://www.51.com/home/index.htm/index.html/index.shtml不能被收录,因为home目录下无主页!

http://www.51.com/home/index.htm   404错误
http://www.51.com/home/index.html  404错误
http://www.51.com/home/index.shtml 404错误
http://www.51.com/home/index.php   404错误
http://www.51.com/home/            404错误

确定HOME下无默认首页文件,一般都是404页,这样多搜索引擎会很不友好的,那么当然仔细点的站点都会杜绝被搜索引擎视为死连接。
51的错法就是"Disallow:/help/"则允许robot访问/help.html,而不能访问/help/index.html

判定:Disallow: /home/ 对于百度正确!

因为有:User-agent: *  (针对所有搜索)

查看:site:51.com/home  ,site:51.com/home/ ,site:www.51.com/home , site:www.51.com/home/
在google都有收录,而不是屏蔽了home下任何,而只是home下的默认首页!

目前看不见百度的现象,根据User-agent: *  (针对所有搜索)说明百度当时也是这样!(80%一样)

再查:site:home.51.com

第一结果为

51 博客网欢迎您home.51.com/ - 类似网页

似乎home.51.com/下有首页,似乎home目下也有首页!

我们点过去则跳转到http://www.51.com/,因为目前搜索引擎都可以识别和收录url转发而非跳转!

随便查下home.51.com/的站点访问使用情况!

比如:第二结果

献给我最爱的00

home.51.com/home.php?user=nicolelove - 5k - 补充材料 - 网页快照 - 类似网页

而你使用“http://nicolelove.51.com ”也访问的是此“home.51.com/home.php?user=nicolelove”

也可以 :http://www.51.com/home/Index.php?user=nicolelove  (home下的任何其他文件可以收录和访问)

也可以:http://51.com/home/Index.php?user=nicolelove 访问而到http://www.51.com/home/Index.php?user=nicolelove

也可以:http://www.51.com/home.php?user=aiyoweiyaaaahttp://home.51.com/home.php?user=aiyoweiyaaaa

严格按照URL说这个可以说是多URL或者路径重叠,或者混乱,只是一些没告诉那些站长,只告诉站长
“http://nicolelove.51.com ”就是你的主页url

补充:

<*** LANGUAGE="Java***">
<!--
var t = addAccessRec();
if (isLoginF == 'y' && isLoginHide != 'y') {
 if (isAddAccess == 'y' && t[0] == true) {
  var URL = "addAccessCount.php?user=nicolelove&visituser=&time=1178309340";
  addAccess(URL);  // 增加访客记录
 }
}
if (isAddCount == 'y' && t[1] == true) {
 var URL = "addClickCount.php?user=nicolelove&time=1178309340";
 addAccess(URL);  // 增加点击数
}
function addAccess(URL)
{
 var oXMLHttp = new InitAjax();
 oXMLHttp.open("GET",URL,true); //异步
 oXMLHttp.setRequestHeader('charset','GBK');
 oXMLHttp.Send(null);
}
LoadXMLHTTP("/home/addMyVisitors.php?who=nicolelove");
//-->
</***>

看下最后第三段代码!

搜索引擎在更多时是不允许这样的现象的。二级玉米和独立玉米都可以认为不同域下的站点和网页!

比如:http://piaoge999.51.com 这个是不存在申请的url站站点,那么你输入回车后就会提示:该用户不存在

提示URL为:http://home.51.com/home.php?user=piaoge999

点确定立即返回到“http://www.51.com/”这样的做法稍微比404错误返回友好了一些,可是假如我今天申请了,明天51删除我了,
却在之前百度收录了我的http://home.51.com/home.php?user=piaoge999或者http://piaoge999.51.com呢?
那是不是现在该可以返回到http://www.51.com/了呢?这个做法给搜索引擎造成多少麻烦?造成多少垃圾收录?
降低了多少百度的技术可靠性的讽刺?

http://www.yookee.org/dispbbs_17_313_1.htm“SEO优化之“不要轻易使用泛解析” 特别拿51来分析了的!

只是没这个写的详细,而这个文章飘哥则做了70%的分析列举说明。要说明的是51被封是联系到了滥用泛解析!

而反驳“眼镜蛇”的是针对他说51的robots.txt的问题造成被封!而51的robots.txt写法符合和遵循!

飘哥到今天还没使用过robots.txt,只是之前帮一个朋友从google拒绝收录而找历史记录发现他的玉米曾经存在robots.txt
内容写法是禁止收录此站。告诉之则给google写信给予了收录。因为那玉米停了一段时间,google则还是按照当时robots.txt给予封闭!


此文结束,51的robots.txt有错吗?51的robots.txt是针对百度的吗?百度是根据51的robots.txt把他杀了的吗?

网友热搜:

  • 相关推荐
  • 大家在看
  • 不止米10/10 Pro 小米POCO F2 Pro也即将升级Android 11

    谷歌Android 11 Beta 1已经上线,各家品牌公布了相关适配计划。6月12日消息,POCO官方推特预告,小米POCO F2 Pro即将适配Android 11。此前MIUI确认小米10、小米10 Pro将升级到Android 11,这

  • 更加安全高效,ColorOS 发布 Android 11 开发者测试版

    6 月 11 日,在谷歌发布了 Android 11 首个 Beta 版本后,ColorOS 率先预告 Android 11 Beta 1 将在 OPPO Find X2 系列上开启尝鲜体验。而今天,ColorOS 官方微博宣布基于 Android 11 的 ColorOS 开发者测试版正式上线,目前已支持 OPPO Find X2 系列机型,开发者与尝鲜用户可以通过 OPPO 开放平台下载体验。安全又易用,Android 11 Beta × ColorOS亮点公布从ColorOS发布的版本亮点可见,基于 Android 11 开发的 ColorOS 将在设计

  • 微软准备Windows Core OS:全力优化Chromium使用体验

    微软正在全力准备新的Windows系统Core OS,作为Windows 10的模块化版本,该软件旨在容纳多种不同外形尺寸的设备。除了类似Chromebook的廉价上网本,Core OS还可在双屏/折叠设备、以及HoloLens 2

  • 美看Mcomb电动牙刷,“刷出来的真香”!

    科技改变生活,生活逐渐智能化、电动化。电动牙刷,早已不是什么新鲜事物,几年前,它还是高科技的代表,价格一直高高在上。而如今,网上也出现了不少物美价廉的国产品牌,不仅颜值高、价格可、口碑也很在线。比如,今天要介绍的这个网红品牌——美看Mcomb,这款不到300元的电动牙刷,到底香不香呢?1、外在有颜:粉色机身尽显时尚美看M2是一款颜值很高的声波电动牙刷,有专情灰和恋爱粉两种配色,这组CP真的是高级感十足。机身上?

  • 全职保姆也没这么贴心,ColorOS 「AI 应用预启动」无微不至

    当下手机俨然已经成为人们手掌的延伸,在生活各处发挥着作用,如通讯、钱包、社交等,而各大手机系统也相继研发了各种AI加成的系统功能,让系统变得更懂人心。在 6 月 5 日OPPO Reno4 系列发布会上,ColorOS 7. 2 带来了让手机更快、更懂你的「AI应用预启动」功能,使手机应用实现秒速启动,下面就让我们一起来了解一下。「AI 应用预启动」通过创建 AI 学习模型,时刻记录、学习受用的手机使用习惯,并在相应的时间段预先启动这些?

  • 老外暴力测试小米POCO F2 Pro:完美存活

    近日,知名视频博主JerryRigEverything发布了小米POCO F2 Pro的暴力测试视频,对这款骁龙865旗舰展开了一番喜闻乐见的“质量检验”。首先是屏幕硬度测试,不过这里有个小插曲,JRE划

  • 开启 ColorOS 儿童空间与远程守护,守护儿童用机

    又到了一年一度的六一儿童节,在大家给孩子们庆祝节日的同时,手机厂商将目光投向了如何更好地守护孩子的用机,让他们在使用手机扩展视野、学习知识、放松娱乐的同时,不过分沉迷于网络虚拟世界或遭受潜在的网络安全危机。下面我们就以 OPPO 手机为例,看看其系统 ColorOS 如何通过合理的功能设计来帮助孩子们健康使用手机,同时也帮助家长们更好地了解孩子的用机情况。 功能强大,ColorOS 全方位守护孩子安全 在 ColorOS 中开启?

  • ColorOS 7.2潮玩功能汇总,上手根本停不下来

    OPPO Reno4 系列在 6 月 5 日正式发布,作为一台主打影像以及续航的新机,OPPO Reno4 系列已经「堆料满满」。不过OPPO似乎还不满足于此,在软件层面上,OPPO 全新系统小版本ColorOS 7. 2 还为OPPO Reno4 系列带来不少有趣的玩法。(OPPO Reno4 系列发布会上ColorOS 7. 2 带来不少潮玩功能)本次OPPO Reno4 系列搭载的ColorOS 7. 2 带来了OPPO 创新产品探索平台与用户共创社区——OPPO LAB。通过OPPO LAB,OPPO可以及时将新功能与服

  • 底层优化+ AI 能力,ColorOS 7.2让你的OPPO手机更流畅

    2019 年 11 月 20 日,「轻快无边界」的 ColorOS 7 正式发布。围绕「快」,ColorOS 7 除了带来系统底层优化,同时加入诸多效率操作,让 ColorOS 7 体验更畅快。2020 年 6 月 5 日,ColorOS 7.2 随 OPPO Reno4 系列一同发布,该版本在拥有原本的「轻快」体验之外,还带来全新的「AI 应用预启动」功能,大幅提升应用启动效率,帮助用户快人一步,决胜于毫秒之间。AI 自主学习,越用越懂你ColorOS 7.2 内置 AI 模型,能自主学习用户在

  • 全面屏时代的贴心优化,ColorOS 7 这几点值得了解

    从手机发展历程看,能显示更多内容的大屏受到用户的喜爱,甚至有不少声音表示大屏用过就回不去了,所以现如今各家都在控制手机尺寸的情况下,想尽办法提升屏占比,为用户带来更大的屏幕。但大屏除了带来更强视觉冲击和内容,让人机交互也迎来了新的挑战。如何帮助用户最有效率地利用手机大屏成了厂商们关注的问题。其中 ColorOS 给出的解决方案就非常具有参考意义,推荐手持 OPPO 手机的用户尝试。浮窗气泡习惯于在手机上看视频的?

  • COMPUTEX 2020线下展览取消

    DoNews 6月12日消息(记者 刘文轩)台北国际电脑展COMPUTEX & InnoVEX 2020特展原本打算缩减规模并延期到今年9月举行。不过遗憾的是,主办方今天正式宣布完全取消今年的展览活动,并预告明年6月1日到6月5日再见。虽然通过线上举行的分享活动在过去一星期顺利举办,然而全球依然笼罩在新馆肺炎疫情的阴影下,各国采取相应的防疫措施和出入境限制,这些措施也导致一些参展商难以顺利抵达台湾参展,这也导致原本打算9月举办的特展不得

  • 首批适配!ColorOS正式发布Android 11开发者测试版:暗色定时、超级省电

    如此前预告,今天下午,ColorOS官微宣布,Find X2系列基于Android 11 Beta1版本的ColorOS测试版正式上线。 开发者与尝鲜用户可以通过OPPO开放平台下载体验。6月11日,在

  • 降噪与音质全都不妥协!OPPO Enco W51评测

    伴随着各大手机厂商逐渐取消3.5mm耳机孔,TWS真无线蓝牙耳机已经成为普通消费者必备的产品。OPPO在今年4月发布了售价仅299元的OPPO Enco W31真无线耳机,内置双蓝牙5.0芯片,94ms的延时体验,真爱粉的配色,瞬间点燃消费者的热情,成为观看视频和游戏开黑的极品选择。然而,不满足于此的OPPO继续发力,在近日OPPO Reno4发布会上,再度推出旗下首款主动降噪真无线耳机产品OPPO Enco W51,主打“音乐通话都清晰”的OPPO降

  • 充得快,用得慢!ColorOS 7.2 全场景解决你的续航焦虑

    进入 2020 年以来,智能手机市场迎来了 5G 手机的大面积爆发,国内一线手机厂商几乎都推出了 5G 手机,并且针对 5G 手机的续航问题也是煞费苦心,在硬件和软件上做了不少的优化。不过要说手机系统层面优化十分用心的,OPPO 手机系统ColorOS 7 可以说是其中之一,其在此前推出的 Smart 5G 智能调度就广受用户好评。(ColorOS 7 Smart 5G 智能调度)就在 6 月 5 日 OPPO Reno4 系列的发布会上,ColorOS 7 也迎来了新的系统小版本升级

  • 端午小长假用好ColorOS 7.2 这些小技巧,让你省事又省心

    我国的传统节日——端午节即将到来,面对 3 天的小长假,相信很多朋友有着自己的出行计划,例如有人会选择宅在家里养精蓄锐,也有人准备趁着大好天气出门领略祖国的大好河山。但不论选择什么样的方式度过这个假期,大家都别忘了妥善地利用随身携带的OPPO手机,帮助让自己的生活更加便利。以OPPO近期发布的Reno4 系列为例,其系统 ColorOS 7.2 能够照顾到生活的方方面面,只需简单设置就能让出行更加无忧。出行清单,一个不漏还在担

  • ColorOS 推出潮酷挖孔屏壁纸,追求完美的你值得拥有

    从全面屏概念出现的那天开始,所有厂商都在找寻最优解决办法的道路上高歌猛进,目前主流的的解决方案有两种:盲孔屏和通孔屏。盲孔屏的由于技术更加先进,实现难度高于通孔屏,孔径更小,整体观感较好,比如最近比较火的OPPO Reno4 系列,开孔直径 3.92mm,几乎无感。但总有用户喜欢追求完美,为了满足用户的需求,ColorOS 官方推出一组为OPPO Reno4 系列定制的挖孔屏壁纸,通过壁纸设计将前置镜头隐藏。ColorOS 的设计一直贯穿了?

  • OPPO Reno 10 倍变焦版、Reno ACE升级ColorOS 7.1,

    今天OPPO社区用户检测到了OPPO Reno 10 倍变焦版、Reno ACE的ColorOS 7. 1 正式版更新消息。据悉,ColorOS 7. 1 是今年 3 月份随OPPO 5G全能旗舰Find X2 系列一同亮相的定制版本,虽然只是ColorOS7 的小迭代,但却带来了一系列收到用户好评的功能,如录音转文本、超级文本、UI First等。手持两款机型的用户不妨升级到最新的版本,第一时间进行体验。(OPPO社区用户发布了OPPO Reno 10 倍变焦版软件更新界面截图)在版本特性介绍中?

  • 老照片焕发新光彩,OPPO ColorOS 7.2“AI修复”值得一试

    前段时间,OPPO 召开新品发布会,推出了 OPPO Reno4 系列 5G 视频手机,吸引了众多媒体和网友的目光。而在此次发布会中,全新的 ColorOS 7.2 也惊喜亮相,新增了诸多实用功能,为用户带来全新的使用体验。其中,「AI 修复」这一功能既有趣又实用,能够对老照片进行有效修复,让其焕发新生。据了解,「AI 修复」主要通过对于老照片的线条轮廓还原、色彩修复、细节复原三个方面实现修复。这一功能的操作流程相当简单,用户只需要将需

  • ColorOS 新特性引网友猜想,将随 OPPO Reno4 一同亮相

    前段时间,OPPO 官方宣布将于 6 月 5 日 19:30 召开新品发布会,届时将推出 5G 视频手机 OPPO Reno4 系列,受到了众多网友的关注。而在近日,ColorOS 官博发布微博表示,ColorOS 7 新功能将随 OPPO Reno4 系列一同亮相。同时,ColorOS 官博还发布了一张悬念海报,吸引了众多网友的关注,并纷纷猜测 ColorOS 7 新功能究竟是什么。 (ColorOS 官博预热 ColorOS 7 新功能) 在这张海报中,最明显的是那个三指下滑的手势,很容易让人联?

  • 影像再升级,ColorOS 7.2强势加持OPPO Reno4视频拍摄

    如今短视频的用户数量已经越来越多,几乎可以说现在人人都是 vlog 主,很多手机用户也是用着短视频的形式来记录着自己生活的点点滴滴,而这个时候就需要一部拍摄视频比较全面的手机。而最近搭载着全新 ColorOS 7.2 系统的 OPPO Reno4 系列产品,就成为了众多视频爱好者们的首选,那么为什么用户都喜欢用 OPPO Reno4 系列拍视频呢?我们今天就一起来看看。 (OPPO Reno4 Pro 2020 夏日限定版) 其实对于视频拍摄来说,手机的镜头组和?

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议