Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。也叫机器人排除标准（Robots Exclusion Standard），网站使用的文本文件，用于与网络机器人（最常见的SE机器人）进行通信，以处理网站的每个页面。在这里，您可以将某些页面设置为漫游器的禁区，并仅扫描最有用的内容。

百度K站有轻重之分，刚开始可能会快照回档，关键词排名大幅度下降，但是没有掉到 100 以后。这些是初期不良的状态。到中期，如果站长还没有做改善，快照会被打到无百度快照，关键词排名全部 100 以外，这是严重警告。如果后期还不改善的话，就是降权了。

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。