《浅谈屏蔽搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况...
比如，你要启用一个新的域名做镜像网站，主要用于PPC的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页...
以下列举了屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路...
在所有的网页头部文件添加，添加如下语句：...
3、通过服务器（如：Linux/nginx）配置文件设置...
4、通过搜索引擎提供的站长工具，删除网页快照...
比如：由于api权限与微博信息隐私保护原因，Xweibo2.0版本后禁止搜索引擎收录...
关于如何屏蔽搜索引擎爬虫（蜘蛛）抓取/索引/收录网页，您有其他什么更好的建议或者方法，也欢迎发表评论！期待与您交流...
......
本文由站长之家用户“wuzhisong.com”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。
（举报）
