首页 > 优化 > 关键词  > 正文

《Robots.txt 协议标准》介绍

2007-09-10 20:17 · 稿源:SEO 搜索引擎优化研究

《《Robots.txt 协议标准》介绍》文章已经归档,站长之家不再展示相关内容,下文是站长之家的自动化写作机器人,通过算法提取的文章重点内容。这只AI还很年轻,欢迎联系我们帮它成长:

用于描述搜索引擎蜘蛛的名字,在"Robots.txt"文件中,如果有多条User-agent记录说明有多个搜索引擎蜘蛛会受到该协议的限制,对该文件来说,至少要有一条User-agent记录...

例一:通过"/robots.txt"禁止所有搜索引擎蜘蛛抓取"/bin/cgi/"目录,以及"/tmp/"目录和/foo.html文件,设置方法如下:...

如:只允许名为"slurp"的搜索引擎蜘蛛抓取,而拒绝其他的搜索引擎蜘蛛抓取"/cgi/"目录下的内容,设置方法如下:...

......

本文由站长之家用户“SEO 搜索引擎优化研究”投稿,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完整的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请联系作者获取原文。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词: