《搜索引擎统一Robots文件标准》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
Google，雅虎，微软各自在自己的官方博客上发了一篇帖子，公布三家都支持的robots.txt文件及Meta标签的标准，以及一些各自特有的标准...
三家都支持的robots文件记录包括：...
Disallow-告诉蜘蛛不要抓取某些文件或目录...
如下面代码将使蜘蛛不抓取ab目录下其他文件，而只抓取其中cd下的文件：...
$通配符-匹配URL结尾的字符...
如下面一段代码将禁止蜘蛛抓取所有htm文件：...
Robots-nocontent-告诉蜘蛛被标注的部分html不是网页内容的一部分，或者换个角度，告诉蜘蛛哪些部分是页面的主要内容（想被检索的内容）...
但抓取robots.txt文件时却发生超时之类的错误，可能导致搜索引擎不收录网站，因为蜘蛛不知道robots.txt文件是否存在或者里面有什么内容，这与确认文件不存在是不一样的...
......
本文由站长之家用户“SEO优化每天一帖”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。
（举报）