首页 > 优化 > 关键词  > robots.txt最新资讯  > 正文

robots.txt的规则误区及百度和Google的robots工具的使用

2012-04-13 09:18 · 稿源:逍遥博客

对于robots.txt文件对于网站的作用大家都知道,但是通过观察发现,有些朋友对于robots.txt文件的规则还是有一定的误区。 比如有很多人这样写: User-agent: * Allow: / Disallow: /mulu/ 不知道大家有没有看出来,这个规则其实是不起作用的,第一句Allow: / 指的是允许蜘蛛爬行所有

......

本文由站长之家合作伙伴自媒体作者“逍遥博客”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐

今日大家都在搜的词: