《轻松配置网站Robots.txt文件》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
当搜索引擎来抓取你的网站文件之前，它们会先来看看你网站的robots.txt文件的设置，以了解你所允许它抓取的范围，包括哪些文件，哪些目录...
User-agent就是搜索引擎的蜘蛛，后面用了*号，表示对所有的蜘蛛有效...
Disallow就是表示不允许抓取，后面的目录或者文件，表示禁止抓取的范围...
编辑好这个文件，然后保存在你的网站的根目录下，那么搜索引擎就会来看的...
如果你没有robots.txt文件，在你的网站访问日志文件里，你会看到蜘蛛访问robots.txt文件不成功的纪录...
好了，现在就去设置你的robots.txt文件吧...
......
本文由站长之家用户“互联网”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。
（举报）
