《金楚辽：老生常谈ROBOTS.TXT的写法》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
记得很早以前，那个时间新浪屏蔽百度蜘蛛的事件传得很大，其实你主要是学会了ROBOTS.TXT的写法，那就简单的了，两下就认出了这事的真假...
Robots.txt的几个常用英文意思...
Robots.txt的两个常用符号...
介绍得差不多了，下面来进入正题，Robots.txt：...
上半部分是禁止该蜘蛛抓取，下半部分是充许所有，总体意思就是禁止此蜘蛛，充许其它蜘蛛...
五、禁止蜘蛛抓取某些目录...
六、禁止蜘蛛特定后缀文件，这个用“*”号...
七、仅充许抓取特定后缀文件，这个用“$”号...
做完这些我们如何检查我们的robots.txt这个文件的有效性呢？推荐使用Google管理员工具，登录后访问“工具->分析robots.txt”，检查文件有效性...
......
本文由站长之家用户“Chinaz用户投稿”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。
（举报）
