《谷歌官方《搜索引擎优化指南》网络蜘蛛篇》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
一个robots.txt文件可以告诉搜索引擎你网站的哪些部分允许它去抓取...
所有的遵循这一规则的搜索引擎爬虫不应该进入并抓取/images/或者任何以/search开头的url里的内容...
之所以这样做的是因为如果那些你在robots.txt里阻止的链接出现互联网上，搜索引擎就很可能引用这些URLs...
robots.txt是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器，此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被获取的...
这个协议也不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个元数据，不索引这个页面，以及这个页面的链出页面...
......
本文由站长之家用户“个篱遐想录”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。
（举报）
