首页 > 经验 > 关键词 > robots.txt最新资讯 > 正文

突破搜索引擎robots.txt限制:让搜索引擎给你的网站做外链

2015-01-08 14:11 · 稿源:MEE阿徐

备注:本文方法或已经失效,分享本文旨在帮助大家更了解黑帽,并非鼓励大家使用黑帽的方式来进行网站优化,不仅伤害用户也为互联网带来了更多污染。

我们知道搜索引擎的产品线很长,多个产品之间总不可能完全完美地配合,因此在robots.txt的限制收录那里就产生了一个可以被利用的漏洞。

原理分析(以搜狗为例)

我们可以看到搜狗的robots.txt文件内容为:

User-agent: Sogou web spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Sogou inst spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Sogou spider2
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Sogou blog
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Sogou News Spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Sogou Orion spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: JikeSpider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Sosospider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Googlebot
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: MSNBot
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Baiduspider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: 360spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Baiduspider-image
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: YoudaoBot
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: *
Disallow: /

很显然,搜狗针对各个搜索引擎,对搜索结果页面进行了屏蔽处理。其中“/sogou?”、“/web?”等路径均是结果页面的路径,那么,会不会有这样一种情况?搜狗存在其他的搜索结果页面路径,但是在robots.txt中却没有申明屏蔽?为了验证这一猜想,我们到百度中搜索搜狗。

我们可以看到其中“/sie?”、“/sgo?”均为搜狗搜索结果页面的路径,但是在robots.txt文件中却没有被申明屏蔽!即是说这样路径的页面时允许被搜索引擎收录,如果这样的页面的搜索结果全部都是自己的网站呢?那么就实现了让搜索引擎给自己网站做外链的效果!

那么问题来了?如果让搜索结果全部都是自己的站点呢?很自然地就会想到站内搜索!具体寻找站内搜索参数的方式请自行搜索相关资料,此处直接说明结果:搜狗的站内搜索参数为insite,那么组装成这样一个网址:

http://www.sogou.com/sgo?query=SEO&insite=meeaxu.com

这个网址时可被收录的、这个页面的所有搜索结果均是指定网站的,将类似的网址在互联网上进行传播,蜘蛛爬行到之后最终会入库建立索引,最后达到了我们的目的:让搜索引擎给自己的网站链接。

写在最后

这种方法的时效性不高,很多人都使用之后就会被修复。之所以要将原理清楚地描述出来,是为了描述黑帽方法的发现过程。黑帽并不是简单地做什么站群、群发外链什么的,更多的是利用搜索引擎本身的漏洞来进行优化。本文仅仅是示例了一个非常简单的黑帽方法发现过程,更多大神都非常低调,其发现的方法也并未在互联网上传播。本文仅仅是为了让大家更了解黑帽,并非鼓励大家使用黑帽的方式来进行网站优化,不仅伤害用户也为互联网带来了更多污染。我希望大家更多地去考虑用户体验,去配合搜索引擎,同样能够达到最终目的。

  • 相关推荐
  • 大家在看
  • 利用内容营销做外链推广:你需要避免的5个陷阱!

    当你在做外链建设策略的时候,你经常会创作大量的内容做为支撑,可是一段时间过去了,你通过站长工具查询,并没有发现外链大幅度的增长,这是初入SEO领域经常遇到的事情,所有SEO博客,经常会建议的一句话就是当你有了足够多的内容,你的外链将不断增长。

  • 微信半年封杀100多万条违规外链:假红包减少60%

    2019年10月底,微信第二次修订了《微信外部链接内容管理规范》,将链接类违规内容分为19个大类,常见的包括:插件批量生成冒充大公司商标或者名人肖像送红包的假活动,故意拟制耸动标题,或以明

  • Edge最受期待升级 微软浏览器扩展网站上线 兼容Chrome

    在IE、旧版edge失利之后,浏览器全面转向Chromium开源内核可以说是微软近年来最正确的决定了,全新的Edge浏览器非常不错,值得推荐。现在Edge最受期待的升级——全新扩展网站上线了。

  • SEO优化,4个独辟蹊径的策略!

    有的时候SEO工作就是一个数字游戏,每天看着数据的增长,不断的调整相关性的策略,但我们非常清楚,有的时候SEO优化会面临各种调整,特别是同行业之间的竞争。

  • 渠成的SEO智能营销为用户带来了什么

    渠成作为Netconcepts的创始人,逐步带领公司成为全球领先的互联网营销企业,究竟渠成是靠什么在十几年的时间里,将Netconcepts带向世界前沿的?答案是——SEO。渠成:SEO是核心Netconcepts发展之初,就是以SEO(搜索引擎优化)为核心优势。在渠成的带领下,发展至今,Netconcepts已经成为一家集搜索引擎优化、搜索引擎广告、社会化媒体营销、在线名誉管理、转化率优化服务、移动互联网营销、整合网络营销推广和教育培训为一体的综合?

  • 不止米10/10 Pro 小米POCO F2 Pro也即将升级Android 11

    谷歌Android 11 Beta 1已经上线,各家品牌公布了相关适配计划。6月12日消息,POCO官方推特预告,小米POCO F2 Pro即将适配Android 11。此前MIUI确认小米10、小米10 Pro将升级到Android 11,这

  • 皇室玫瑰RoyalRose携手何润东、宋茜演绎《美丽的秘密》

    RoyalRose皇室玫瑰携手荧幕偶像何润东、宋茜共同演绎浪漫都市爱情。湖南卫视热播37集连续剧《美丽的秘密》,以全国网收视破3,达3.31%高收视收官,为观众带来一系列精彩看点。 该剧讲述了草根女孩姜美丽(宋茜饰)自幼被亲生母亲遗弃,长大后误打误撞被音乐制作人关毅(何润东饰)发现了其音乐天赋,想要发掘其成为歌手,在历经一系列亲情、爱情的虐恋纠葛之后,逐渐揭开了自己的身世之谜的故事。 何润东在剧中饰演一位娱乐制作总监,?

  • 信息流优化策略与SEO搜索排名,有关联吗?

    最近,在和SEO你问我答群里小伙伴,私下交流的时候,总是在说一些流量获取的问题,而最为常讨论的情况就是SEO流量与信息流平台的流量。

  • 爆料者:iPhone 12 Pro/Pro Max将配备120Hz ProMtion显示屏

    【TechWeb】6月28日消息,据国外媒体报道,一位爆料者称,iPhone 12 Pro和iPhone Pro Max将配备120Hz刷新率的ProMtion显示屏。此前,外媒报道称,今年的新款iPhone(iPhone 12)共有4款:一款为5.4英寸,两款为6.1英寸,一款为6.7英寸。这四款iPhone均配备OLED(有机发光二极管)面板。目前,iPhone的最大刷新率为60Hz。早在去年10月份,就有报道称,苹果今年将发布一款配备120Hz刷新率屏幕的iPhone。此外,国外知名爆料人此前也?

  • Android 11 Beta 1上线:小米10/10 Pro率先升级

    6月12日消息,MIUI官方推特预告,小米10、小米10 Pro即将升级Android 11 Beta 1。据悉,Android 11有三大主题:人、交互、隐私。在Android 11上,谷歌在其顶部通知栏提供了对话通知选项,通

  • 谷歌开发类AirDrop应用Nearby Share:支持Windows/Mac/Chrome OS

    据外媒报道,谷歌已经为Android开发了一个类似于Airdrop的文件共享服务。尽管多次泄露,但该公司仍未宣布其这个全新的本地文件共享服务。这使得许多Android OEM厂商如三星、OPPO、OnePlus、Realme、小米和其他厂商都推出了自己的快速文件共享协议。不过,看起来谷歌的文件共享服务比其他协议拥有一个关键优势,那就是它可以在运行Windows、macOS、Linux乃至Chrome OS的PC上运行。

  • 谷歌Pixel 4 Android 11降级Android 10出bug:面部识别不能用

    6月15日消息,上周Android 11 Beta 1正式上线,谷歌Pixel机型率先尝鲜。考虑到这是Beta版Android 11,系统方面不够稳定,不少Pixel用户升级到Android 11之后选择降级回到Android 10,然而在降

  • 更加安全高效,ColorOS 发布 Android 11 开发者测试版

    6 月 11 日,在谷歌发布了 Android 11 首个 Beta 版本后,ColorOS 率先预告 Android 11 Beta 1 将在 OPPO Find X2 系列上开启尝鲜体验。而今天,ColorOS 官方微博宣布基于 Android 11 的 ColorOS 开发者测试版正式上线,目前已支持 OPPO Find X2 系列机型,开发者与尝鲜用户可以通过 OPPO 开放平台下载体验。安全又易用,Android 11 Beta × ColorOS亮点公布从ColorOS发布的版本亮点可见,基于 Android 11 开发的 ColorOS 将在设计

  • 淘宝镜头膜仅需38元!让华为P30 Pro秒变P40 Pro

    6月9日消息,淘宝某店家开卖P30 Pro镜头膜,贴上之后可以让P30 Pro的相机变身为矩阵造型,神似P40 Pro。根据网友晒出的图,这款镜头膜的亮点在于不仅保护了镜头,还是一个矩阵造型的镜头盖,贴

  • 黑曜石新作《Grounded》将玩家变成蝼蚁

    为防止玩家吓尿,黑曜石贴心地在游戏中设置了蜘蛛恐惧症缓解模式,滑动杆调整值越高,蜘蛛就越萌:开发单位表示外形变化只起示意作用,不影响实际体验及游戏难度。如果玩家依然无法战胜恐

  • 荣耀 Play4/Pro买哪个好?荣耀Play4 Pro和Play4 标准版区别

    6 月 3 日下午,荣耀手机举行线上新品发布会,正式推出新款荣耀 Play4/Pro。荣耀Play系列与V、N、X系列并列,是荣耀手机旗下的四大产品系列之一,主要面向年轻用户层,主打“酷玩科技”,旨在让更多年轻人体验到科技带来的乐趣。

  • iPhone 12 Pro、Pro Max将配120Hz高刷屏:史上最流畅iPhone

    目前,安卓阵营高刷屏已经逐渐成为中高端机型的标配。最新爆料下显示,即将于今年秋季发布的iPhone 12 Pro、iPhone 12 Pro Max两款高端型号,也将首次配备120Hz高刷新率屏幕,从而提供更流畅的屏

  • 坚果Pro 4?坚果首款5G手机敲定

    5G时代各大手机品牌陆续推出5G手机,现在坚果5G手机也即将登场。6月30日消息,坚果手机产品经理朱海舟在与网友互动时透露,发布会日期已经大概确定,但是还不允许公布。不出意外,这将是坚果

  • AirPods Pro空间音频来了 杜比环绕音效真香

    北京时间 6 月 23 日凌晨,苹果在WWDC2020 开发者大会上正式发布了iOS14,此外,还带来了针对AirPods Pro的软件更新,利用耳机内置的陀螺仪实现全新的空间音频,也就是所谓的环绕音。

  • 除域名外,谷歌Chrome 85将隐藏详细的URL地址

    谷歌正加紧实施新的计划,以在Chrome中隐藏除域名以外的所有URL地址。据外媒报道,Chrome的Dev和Canary 通道(V85)中出现了一些新的特性标志,它们修改了地址栏中网址的外观和行为。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议

热文

  • 3 天
  • 7天