备注：本文方法或已经失效，分享本文旨在帮助大家更了解黑帽，并非鼓励大家使用黑帽的方式来进行网站优化，不仅伤害用户也为互联网带来了更多污染。
我们知道搜索引擎的产品线很长，多个产品之间总不可能完全完美地配合，因此在robots.txt的限制收录那里就产生了一个可以被利用的漏洞。
原理分析(以搜狗为例)
我们可以看到搜狗的robots.txt文件内容为：
User-agent: Sogou web spider Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Sogou inst spider Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Sogou spider2 Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Sogou blog Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Sogou News Spider Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Sogou Orion spider Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: JikeSpider Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Sosospider Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Googlebot Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: MSNBot Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Baiduspider Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: 360spider Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Baiduspider-image Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: YoudaoBot Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: * Disallow: /
很显然，搜狗针对各个搜索引擎，对搜索结果页面进行了屏蔽处理。其中“/sogou?”、“/web?”等路径均是结果页面的路径，那么，会不会有这样一种情况？搜狗存在其他的搜索结果页面路径，但是在robots.txt中却没有申明屏蔽？为了验证这一猜想，我们到百度中搜索搜狗。
我们可以看到其中“/sie?”、“/sgo?”均为搜狗搜索结果页面的路径，但是在robots.txt文件中却没有被申明屏蔽！即是说这样路径的页面时允许被搜索引擎收录，如果这样的页面的搜索结果全部都是自己的网站呢？那么就实现了让搜索引擎给自己网站做外链的效果！
那么问题来了？如果让搜索结果全部都是自己的站点呢？很自然地就会想到站内搜索！具体寻找站内搜索参数的方式请自行搜索相关资料，此处直接说明结果：搜狗的站内搜索参数为insite，那么组装成这样一个网址：
https://www.sogou.com/sgo?query=SEO&insite=meeaxu.com
这个网址时可被收录的、这个页面的所有搜索结果均是指定网站的，将类似的网址在互联网上进行传播，蜘蛛爬行到之后最终会入库建立索引，最后达到了我们的目的：让搜索引擎给自己的网站链接。
写在最后
这种方法的时效性不高，很多人都使用之后就会被修复。之所以要将原理清楚地描述出来，是为了描述黑帽方法的发现过程。黑帽并不是简单地做什么站群、群发外链什么的，更多的是利用搜索引擎本身的漏洞来进行优化。本文仅仅是示例了一个非常简单的黑帽方法发现过程，更多大神都非常低调，其发现的方法也并未在互联网上传播。本文仅仅是为了让大家更了解黑帽，并非鼓励大家使用黑帽的方式来进行网站优化，不仅伤害用户也为互联网带来了更多污染。我希望大家更多地去考虑用户体验，去配合搜索引擎，同样能够达到最终目的。
（举报）