首页 > 优化 > 关键词  > 搜索引擎优化最新资讯  > 正文

如何和爬虫对话 从通用爬虫的定义说出去

2011-07-20 11:59 · 稿源:Bruce 只言片语

《如何和爬虫对话 从通用爬虫的定义说出去》文章已经归档,站长之家不再展示相关内容,下文是站长之家的自动化写作机器人,通过算法提取的文章重点内容。这只AI还很年轻,欢迎联系我们帮它成长:

看淘宝搜索技术博客上的一篇文章《定向抓取漫谈》,对通用爬虫进行了简单的定义,如下:...

1、通过robots.txt和爬虫对话:搜索引擎发现一个新站,原则上第一个访问的就是robots.txt文件,可以通过allow/disallow语法告诉搜索引擎那些文件目录可以被抓取和不可以被抓取...

4、通过rel=“canonical”和爬虫对话:关于rel=”canonical”谷歌网站站长工具帮助有很详细的介绍:深入了解rel=”canonical”...

......

本文由站长之家用户“Bruce 只言片语”投稿,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完整的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请联系作者获取原文。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词: