《随意修改robots.txt 不利于搜索引擎收录你的站》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
Robots.txt是用来告诉bot的访问权限，因Robots.txt协议并不是一个规范，而只是约定俗成的，通常大多数搜索引擎会识别这个元数据，不索引这个页面，以及这个页面的链出页面，使用方法是将robots.txt文件放在网站根目录下...
经本人的试验，对于一个遵守Robots.txt协议的蜘蛛，如果你修改Robots.txt过于频繁，可直接导致将你的站“冷”处理！本人的站就已进入该黑洞了，之前百由于不想让百度蜘蛛收录商品列表的老页面，就直接B了百度蜘蛛访问此页，过了约3天，效果果真明显，小CO还暗喜这蜘蛛真听话，于是乎又想到网站内之前使用的几个页面...
很多站长放了robots.txt后，就发现百度很少收录自己的内页，很可能就是这个原因...
......
本文由站长之家用户“Chinaz用户投稿”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。
（举报）
