《浅析搜索引擎禁止收录法则》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
站长自己虽然没有连接到不想被收录的页面，其他网站可能由于某种原因出现导入链接，导致页面被收录...
有的服务器设置有问题，robots文件不存在时会返回200状态码及一些错误信息，而不是404状态码，这有可能是搜索引擎错误解读robots文件信息，所以建议就算允许抓取所有内容，也要建一个空的robots.txt文件，放在根目录下...
disallow：告诉蜘蛛不要抓取某些文件或目录...
犹豫不指定就是允许抓取，allow：单独写没有意义，allow和disallow配合使用，可以告诉蜘蛛某个目录下大部分不允许抓取，只允许抓取一部分...
例如下面一段代码将禁止蜘蛛抓取.html文件...
......
本文由站长之家用户“百度空间”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。
（举报）
