《解析各大搜索引擎对robots.txt文件的反应》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
一直都没有看到个具体的robots.txt文件在各个搜索引擎的执行情况如何，最近，我特意针对robots.txt文件对于各大搜索引擎做了个实验，看他们这一自己说是明文遵守的协议，落实到实际中去执行又是个什么状况...
首先这个网站在百度，GOOGLE，yahoo，搜狗，搜搜，必应，有道收录都正常，然后我直接在robots.txt文件中设置禁止所有搜索引擎蜘蛛访问和爬行收录本站...
接着说其他搜索引擎对robots.txt文件的反应，GOOGLE只用了4天时间，删除了整个域名的网页收录，随后是腾讯SOSO过了6天也执行删除了整个域名的网页收录，接着是必应、搜狗7天时间删除了域名收录...
......
本文由站长之家用户“www.seocnz.com”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。
（举报）
