抓取就是搜索引擎爬虫执行的过程，其中包括分析网站的完整内容/代码。简而言之，这是爬虫遵循所有内部和外部链接进行的。

URL（统一资源定位系统）也就是网址。URL由三部分组成:资源类型、存放资源的主机域名、资源文件名。url有两种类型——动态的和静态的。

搜索引擎更喜欢静态URL，因为更容易确定其内容。为了SEO:

• 确保网址是描述性和可读性的

• 使用连字符而不是下划线

• 尽量简短，便于记忆

• 要准确——用名字来描述内容

• 添加目标关键词

使用自动程序(网页抓取工具)从多个网站收集数据(通常是元数据)。大家收集的数据可以是竞争对手网站的所有标题，以及他们的meta描述。

这种技术经常用于黑帽SEO，当用作白帽SEO目的时，主要抓取有意义的信息，以发现利基机会，用于链接建设的目的或扩展内容。