首页 > 优化 > 关键词  > 谷歌最新资讯  > 正文

谷歌官方《搜索引擎优化指南》网络蜘蛛篇

2008-11-20 13:50 · 稿源:个篱遐想录

有效使用robots.txt一个robots.txt文件可以告诉搜索引擎你网站的哪些部分允许它去抓取。而这个文件不旦必须命名成”robots.txt”,还得放在你网站的根目录上。 一个网站robots.txt文件的路径。 所有的遵循这一规则的搜索引擎爬虫(按照通配符*指示的那样)不应该进入并抓取

......

本文由站长之家合作伙伴自媒体作者“个篱遐想录”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐

今日大家都在搜的词: